官方提供的微调训练脚本是否支持33B模型训练？(及训练相关问题) about deepseek-coder

[DejianYang]

1. finetune/finetune_deepseekcoder.py脚本中默认使用deepseek-coder-6.7b-instruct模型，请问在硬件支持的情况下是否也支持deepseek-coder-33b-instruct模型的训练。
2. 请教一下，如果需要训练代码相关的下游任务，coder-base模型和coder-instruct模型该如何选择？是否 coder-instruct更适合SFT，而coder-base更适合预训练+SFT？

1. 不建议，huggingface + deepspeed 对于33b的模型还是太勉强。
2. 建议都试试，更多取决于你自己的你下游任务的数据。