key error 'seq_len' about chatglm-tuning

[yinzhang809]

tokenize_dataset_rows.py会用到一个generator会走缓存，但是删除了，重新下载也是不行

/root/.cache/huggingface/datasets/generator/default-d526ca01fe8f63be/0.0.0

执行finetune 的时候记得加--remove_unused_columns false 参数

[mymusise]

重新执行下：

python cover_alpaca2jsonl.py \
    --data_path data/alpaca_data.json \
    --save_path data/alpaca_data.jsonl \

and

python tokenize_dataset_rows.py \
    --jsonl_path data/alpaca_data.jsonl \
    --save_path data/alpaca \
    --max_seq_length 320

[superhg]

max_seq_length 320 为何设置的这么短

[superhg]

重新执行下：

python cover_alpaca2jsonl.py \
    --data_path data/alpaca_data.json \
    --save_path data/alpaca_data.jsonl \

and

python tokenize_dataset_rows.py \
    --jsonl_path data/alpaca_data.jsonl \
    --save_path data/alpaca \
    --max_seq_length 320

还是同样的错误，不起作用

[mymusise]

max_seq_length 320 为何设置的这么短

显存够的话可以设大点

[mymusise]

还是同样的错误，不起作用

感觉像是有缓存

[superhg]

tokenize_dataset_rows.py会用到一个generator会走缓存，但是删除了，重新下载也是不行

/root/.cache/huggingface/datasets/generator/default-d526ca01fe8f63be/0.0.0

[mymusise]

可以debug看看tokenize_dataset_rows.py最终有没有生效

[superhg]

嗯，最后是定位到这里了