Comments (10)
"发现模型非常倾向于输入CoT过程。" 这里是指输出 CoT 过程吗?
from yi.
"发现模型非常倾向于输入CoT过程。" 这里是指输出 CoT 过程吗?
我觉得他的意思是,模型对非CoT的输入,敏感度较差
from yi.
预训练阶段放入了大量的CoT数据吗。
具体用到的数据会在接下来的报告中详细阐述。
全量微调了34b版本的模型,发现模型非常倾向于输入CoT过程。
方便透露下具体怎么微调的么?
这也导致经常得不到我想要的prompt对应的要求输出。
可以发一些具体的 case 么?
from yi.
预训练阶段放入了大量的CoT数据吗。
具体用到的数据会在接下来的报告中详细阐述。
全量微调了34b版本的模型,发现模型非常倾向于输入CoT过程。
方便透露下具体怎么微调的么?
使用fastchat方法微调的。这也导致经常得不到我想要的prompt对应的要求输出。
可以发一些具体的 case 么?
from yi.
"发现模型非常倾向于输入CoT过程。" 这里是指输出 CoT 过程吗?
sft完以后,我使用任务prompt期望模型输出我想要的的格式的内容,但是它输出完以后,就是会输出一大段CoT的过程。
from yi.
预训练阶段放入了大量的CoT数据吗。
预训练没有刻意放入 CoT 数据.
from yi.
预训练阶段放入了大量的CoT数据吗。 全量微调了34b版本的模型,发现模型非常倾向于输出CoT过程。 这也导致经常得不到我想要的prompt对应的格式要求输出。
请问您34B模型微调用了多少张卡呢,之前没有训练34B的经验,我的8张A100 80G的训不起来
from yi.
"发现模型非常倾向于输入CoT过程。" 这里是指输出 CoT 过程吗?
sft完以后,我使用任务prompt期望模型输出我想要的的格式的内容,但是它输出完以后,就是会输出一大段CoT的过程。
在输出结果的时候,配置tokenizer.decode(skip_special_tokens=False),看看截止符是否输出,以及这个截止符、和你SFT数据的截止符、以及model.generate里的截止符是否一致
from yi.
预训练阶段放入了大量的CoT数据吗。 全量微调了34b版本的模型,发现模型非常倾向于输出CoT过程。 这也导致经常得不到我想要的prompt对应的格式要求输出。
请问您34B模型微调用了多少张卡呢,之前没有训练34B的经验,我的8张A100 80G的训不起来
参考finetune/scripts/run_sft_Yi_34b.sh里边的配置,8张A卡是可以训练的,但如果开了offload要注意CPU内存使用,一般CPU内存需要900G以上,同时通过CUDA_VISIBLE_DEVICES来限制分布式并发量为4。
在这个script的配置下,一般单卡显存使用约80G,总内存使用量800G左右,如果还不行,考虑减小max_seq_len,从64开始慢慢往上加
from yi.
预训练阶段放入了大量的CoT数据吗。 全量微调了34b版本的模型,发现模型非常倾向于输出CoT过程。 这也导致经常得不到我想要的prompt对应的格式要求输出。
请问您34B模型微调用了多少张卡呢,之前没有训练34B的经验,我的8张A100 80G的训不起来
参考finetune/scripts/run_sft_Yi_34b.sh里边的配置,8张A卡是可以训练的,但如果开了offload要注意CPU内存使用,一般CPU内存需要900G以上,同时通过CUDA_VISIBLE_DEVICES来限制分布式并发量为4。 在这个script的配置下,一般单卡显存使用约80G,总内存使用量800G左右,如果还不行,考虑减小max_seq_len,从64开始慢慢往上加
十分感谢回复,我去试一试~
from yi.
Related Issues (20)
- 偶发性的会报错
- v100显卡,加载量化模型Yi-34B-Chat-4bits,推理速度很慢 HOT 7
- Features : openai_api.py support multi turn dialogs. HOT 1
- Result of Yi-6B-Chat on the BBH dataset cannot be reproduced HOT 1
- Yi-VL-34b支持int4量化吗?怎么操作 HOT 2
- 自定义数据train.jsonl 8万多,eval.jsonl 105条,为什么SFT时候只显示 length of train dataset:2852,length of eval dataset: 9 HOT 1
- When the API is called multiple times, the GPU memory continuously increases until it overflows. HOT 1
- LLama3发表了,啥时候Yi出新版本啊 HOT 2
- RuntimeError: "triu_tril_cuda_template" not implemented for 'BFloat16'” HOT 4
- Test issue bot
- Test issue bot
- where can I find the training code or script for YI-VL HOT 1
- lora微调yi-6b-chat之后,生成的结果会出现大量的换行符以及空格 HOT 4
- YI:9b在长上下下回答异常 HOT 5
- 用自己的数据集微调时会出现下面的报错,但是用官方的yi_example数据集就不会出现报错,请问这是为什么? HOT 1
- 请问有Yi-VL可以实现few-shot(in-context)数据的推理或微调吗? HOT 1
- Let's Build Yi Cookbook Together - Your Ideas Matter! HOT 4
- 拉了一个多模态大模型技术交流群,大家可以加入进来进行技术交流
- 📝 Yi 周边设计集思广益 HOT 1
- 🧠 Yi Merchandise Design Brainstorming!!! 🚀
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from yi.