marker-inc-korea / cot-llama2 Goto Github PK

안녕하세요.
좋은 학습 자료 감사 드립니다.
platypus 깃헙 레포에서 requirements를 모두 잘 설치하고 업로드 주신 노트북 파라미터로 학습을 시키려고 했으나, 지속적으로,

아래와 같이 traceback 메세지가 발생하여

Traceback (most recent call last):
File "/home/sosohaja/anaconda3/envs/playllama/Platypus/finetune.py", line 312, in
fire.Fire(train)
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/fire/core.py", line 141, in Fire
component_trace = _Fire(component, args, parsed_flag_args, context, name)
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/fire/core.py", line 475, in _Fire
component, remaining_args = _CallAndUpdateTrace(
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/fire/core.py", line 691, in _CallAndUpdateTrace
component = fn(*varargs, **kwargs)
File "/home/sosohaja/anaconda3/envs/playllama/Platypus/finetune.py", line 150, in train
tokenizer = LlamaTokenizer.from_pretrained("beomi/llama-2-ko-7b")
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/transformers/tokenization_utils_base.py", line 1825, in from_pretrained
return cls._from_pretrained(
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/transformers/tokenization_utils_base.py", line 1988, in _from_pretrained
tokenizer = cls(*init_inputs, **init_kwargs)
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/transformers/models/llama/tokenization_llama.py", line 96, in init
self.sp_model.Load(vocab_file)
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/sentencepiece/init.py", line 905, in Load
return self.LoadFromFile(model_file)
File "/home/sosohaja/anaconda3/envs/playllama/lib/python3.10/site-packages/sentencepiece/init.py", line 310, in LoadFromFile
return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg)
TypeError: not a string

다 방면으로 리서치 해본 결과, tokenizer.model 파일이 베이스 모델인 beomi/llama-2-ko-7b 에 없어 실행이 안되는 것으로 판단하였습니다..

해결을 어떻게 하신 후 올려주신 노트북으로 학습을 하셨는지 궁금합니다..!

감사합니다.

Quick Start에 있는 코드 그대로 실행을 했는데 (google drive에 클론한 github 파일들을 동일한 위치와 디렉토리에 넣은 상태) 아래와 같은 에러가 발생했습니다. 어떤 부분이 잘못되었는지 잘 모르겠는데 살펴봐주실 수 있을까요?

자세한 코드는 아래 Colab 링크를 참조해주세요:
https://colab.research.google.com/drive/1Hq4y3oV5TE17Yv6-OTyvhAiprIzHSLFY#scrollTo=F5q0E4EV_gnp