hengjiustc / learn-llm

learn-llm

This project is dedicated to learning and developing large language models (LLMs). It encompasses various stages of training and testing, including pretraining, supervised fine-tuning (SFT), and reinforcement learning (RL).

Repos

• pretrain: pretrain code
• sft: Supervised fine tunning
• rl: Reinforcement learning
• agents: some agents

learn-llm's Issues

时间

您好，请问1B 训练这个FineWeb，1个epoch 大概要多少显卡 跑多久呀

为什么没有使用 tiktoken GPT4, 而是使用了 GPT2

您好，为什么没有使用 tiktoken GPT4, 而是使用了 GPT2

疑问

作者您好，我看了很多案例我发现，在pretrained 的时候，很多作者对input ids填充的时候，没有把label中的pad_token_id变成-100，所以导致loss很快的降低了，现在有一个疑问 到底需不需要把 label中的pad_token_id变成-100，这样修改会导致loss很高，并且很难降低。