chatGLM模型训练后，得到的微调结果和示例不一样 about self-llm

[AHPUymhd]

示例里，微调的参数在模型输出路径文件夹下的checkpoint-1000文件夹中。按照示例的微调方法运行之后，微调结果输出路径不同，为runs/Jan27_01-06-17_autodl-container-049a448514-394ad272/，其中文件也不同。 请问这里该怎么处理

请问您最后解决了吗，我也遇到这个问题了

[CharlieZZss]

示例里，微调的参数在模型输出路径文件夹下的checkpoint-1000文件夹中。按照示例的微调方法运行之后，微调结果输出路径不同，为runs/Jan27_01-06-17_autodl-container-049a448514-394ad272/，其中文件也不同。 请问这里该怎么处理

请问您最后解决了吗，我也遇到这个问题了

我的微调参数是这样设置的：
data_collator = DataCollatorForSeq2Seq(
tokenizer,
model=model,
label_pad_token_id=-100,
pad_to_multiple_of=None,
padding=False
)
args = TrainingArguments(
output_dir="/root/autodl-tmp/huan_dataset/output",#相对路径无法生成check-points文件夹
per_device_train_batch_size=1,
gradient_accumulation_steps=8,
logging_steps=5,
num_train_epochs=1,
save_strategy='steps',
save_steps=10,
learning_rate=1e-4,
#gradient_checkpointing=True,这句解开会报错
)
加载微调后模型的代码是这样的：
from peft import PeftModel
from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer
import torch
tokenizer = AutoTokenizer.from_pretrained("/root/autodl-tmp/ZhipuAI/chatglm3-6b", use_fast=False, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("/root/autodl-tmp/ZhipuAI/chatglm3-6b", trust_remote_code=True, low_cpu_mem_usage=True)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)
p_model = PeftModel.from_pretrained(model, model_id="/root/autodl-tmp/huan_dataset/output/checkpoint-400/") # 将训练所得的LoRa权重加载起来
ipt = tokenizer("<|system|>\n现在你要扮演皇帝身边的女人--甄嬛\n<|user|>\n {}\n{}".format("你是谁？", "").strip() + "<|assistant|>\n", return_tensors="pt").to(model.device)
tokenizer.decode(p_model.generate(**ipt, max_length=128, do_sample=True)[0], skip_special_tokens=True)

[AHPUymhd]

示例里，微调的参数在模型输出路径文件夹下的checkpoint-1000文件夹中。按照示例的微调方法运行之后，微调结果输出路径不同，为runs/Jan27_01-06-17_autodl-container-049a448514-394ad272/，其中文件也不同。 请问这里该怎么处理

请问您最后解决了吗，我也遇到这个问题了

我的微调参数是这样设置的： data_collator = DataCollatorForSeq2Seq( tokenizer, model=model, label_pad_token_id=-100, pad_to_multiple_of=None, padding=False ) args = TrainingArguments( output_dir="/root/autodl-tmp/huan_dataset/output",#相对路径无法生成check-points文件夹 per_device_train_batch_size=1, gradient_accumulation_steps=8, logging_steps=5, num_train_epochs=1, save_strategy='steps', save_steps=10, learning_rate=1e-4, #gradient_checkpointing=True,这句解开会报错 ) 加载微调后模型的代码是这样的： from peft import PeftModel from transformers import AutoTokenizer, AutoModelForCausalLM, DataCollatorForSeq2Seq, TrainingArguments, Trainer import torch tokenizer = AutoTokenizer.from_pretrained("/root/autodl-tmp/ZhipuAI/chatglm3-6b", use_fast=False, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained("/root/autodl-tmp/ZhipuAI/chatglm3-6b", trust_remote_code=True, low_cpu_mem_usage=True) device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model.to(device) p_model = PeftModel.from_pretrained(model, model_id="/root/autodl-tmp/huan_dataset/output/checkpoint-400/") # 将训练所得的LoRa权重加载起来 ipt = tokenizer("<|system|>\n现在你要扮演皇帝身边的女人--甄嬛\n<|user|>\n {}\n{}".format("你是谁？", "").strip() + "<|assistant|>\n", return_tensors="pt").to(model.device) tokenizer.decode(p_model.generate(**ipt, max_length=128, do_sample=True)[0], skip_special_tokens=True)

谢谢好兄弟！！就是请问你直接生成的是checkpoint格式的输出吗，为什么我生成的是events.out.tfevents.1709949130.autodl-container-7d27418359-b92bcb1c.3146.0这种格式的输出，请问可以麻烦贴出您的全部代码吗，我也是按着教程来的啊