lora微调学不到私人数据库 about self-llm

[Hongru0306]

您好，本repo的所有模型在发布之前都经过严格的校准，没有出现问题才pull上去的。可以先检查学习率或其他超参数的设置情况。 btw，虽然如此，但根据你的问题我也可以提供一下建议的解决思路:

• 1.验证究竟是本仓库代码问题还是GLM的问题:用相同的代码数据训练一个deepseek或其他的模型，如果能正常运行并加载，则说明问题的根源是来自GLM本身与你的机器或者数据集不契合，导致的问题，建议去GLM的repo提issue解决，本repo不处理模型本质的问题。
• 2.如果1运行之后发现其他模型也不能训练，欢迎及时反馈。
• 3.加载合并lora权重前后，在jupyter中打印一下model，看看layer是否已经进行了lora替换，如果已经替换，则说明已经合并了。具体代码如下:

for name, parameter in model.named_parameters():
    print(name)

如还有问题，欢迎反馈，但仅限于本repo代码中的问题,不希望反馈模型本身的问题。