两张卡训练，16*2，OOM about chatglm-6b-qlora

[shuxueslpi]

多卡目前还有问题，一张卡12G显存可以跑下整个实验

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 日期 | 2023年07月10日 15:53 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***> | | 主题 | [shuxueslpi/chatGLM-6B-QLoRA] 两张卡训练，16*2，OOM (Issue #20) | 模型加载时内存使用大概12G，代码运行到model = prepare_model_for_kbit_training(model, use_gradient_checkpointing=True)这行突然变成24G左右，然后就报错了。还没有开始训练。fp16，batch_size设成1。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

[cheney369]

那我如果只指定一张卡去训练，是可以跑下实验的是吗？有试了以下方法，也是不行。
import os
os.environ("CUDA_VISIBLE_DEVICE") = "0"
或
在加载model操作后，model.to(cuda:0)

[shuxueslpi]

那个环境变量好像是CUDA_VISIBLE_DEVICES

…

---- 回复的原邮件 ---- | 发件人 | ***@***.***> | | 日期 | 2023年07月10日 16:16 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.***>***@***.***> | | 主题 | Re: [shuxueslpi/chatGLM-6B-QLoRA] 两张卡训练，16*2，OOM (Issue #20) | 那我如果只指定一张卡去训练，是可以跑下实验的是吗？有试了以下方法，也是不行。 import os os.environ("CUDA_VISIBLE_DEVICE") = "0" 或 在加载model操作后，model.to(cuda:0) — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[cheney369]

那个环境变量好像是CUDA_VISIBLE_DEVICES
…

是的打错了,不好意思。不过指定单张16G的卡训练时，也会报OOM错误。

更新一下，如果是微调chatglm1的话是可以，chatglm2会出错，同时chatglm2的文件（除权重外）都已经更新到最新的了，是不要权重也要一起更新成最新的才行？

[shuxueslpi]

@cheney369 #14
看这个，和你一样的报错，可能是transformers的版本问题

[cheney369]

@cheney369 #14
看这个，和你一样的报错，可能是transformers的版本问题

确实是transformers的版本问题，现在显存这部分没问题了。但是出现一个新的问题，就是在这一句中会报错：
question_length = input_ids.index(tokenizer.bos_token_id)
查了一下原因是因为chatglm2中没有bos_token_id，而chatglm1是有的，所以在训练2的时候这行需要进行替换。

[shuxueslpi]

@cheney369 你用的貌似不是我最新的代码，这部分应该是改过了的

[cheney369]

@cheney369 你用的貌似不是我最新的代码，这部分应该是改过了的

确实是，实在抱歉。

[2512309z]

@cheney369 #14
看这个，和你一样的报错，可能是transformers的版本问题

确实是transformers的版本问题，现在显存这部分没问题了。但是出现一个新的问题，就是在这一句中会报错： question_length = input_ids.index(tokenizer.bos_token_id) 查了一下原因是因为chatglm2中没有bos_token_id，而chatglm1是有的，所以在训练2的时候这行需要进行替换。

请问你最后用的是哪个版本的transformer？我也是OOM，没办法只有把batchsize改成1才能跑起来

[cheney369]

@cheney369 #14
看这个，和你一样的报错，可能是transformers的版本问题

确实是transformers的版本问题，现在显存这部分没问题了。但是出现一个新的问题，就是在这一句中会报错： question_length = input_ids.index(tokenizer.bos_token_id) 查了一下原因是因为chatglm2中没有bos_token_id，而chatglm1是有的，所以在训练2的时候这行需要进行替换。

请问你最后用的是哪个版本的transformer？我也是OOM，没办法只有把batchsize改成1才能跑起来

transformers == 4.30.2. batch_size=4的时候单卡显存占用7G.

[2512309z]

@cheney369 #14
看这个，和你一样的报错，可能是transformers的版本问题

确实是transformers的版本问题，现在显存这部分没问题了。但是出现一个新的问题，就是在这一句中会报错： question_length = input_ids.index(tokenizer.bos_token_id) 查了一下原因是因为chatglm2中没有bos_token_id，而chatglm1是有的，所以在训练2的时候这行需要进行替换。

请问你最后用的是哪个版本的transformer？我也是OOM，没办法只有把batchsize改成1才能跑起来

transformers == 4.30.2. batch_size=4的时候单卡显存占用7G.

我的版本没问题，我可能是自己编辑的单条训练数据集字符过长了，数据集太难编辑了，不知道什么样的数据集才算是好的数据集，哎。。。。