melodysdreamj / kovicuna

Update Logs

• 2023.4.21: Mozzipa님께서 🤗KoVicuna7B 기반 ko_vicuna_7b_ggml_q4 모델 을 공개해주셨습니다. 🙏🏻
• 2023.4.20: 🤗LLAMA 7B 기반 KoVicuna 모델 을 공개합니다.

---

KoVicuna: Korean Vicuna Model based on Vicuna (feat. LLAMA)

Vicuna 모델을 학습한 방식과 동일한 방식과 모델셋으로 학습을 진행한, 한국어 Vicuna 모델입니다.

예시

데이터셋 제작 방법

데이터셋은 기본적으로 ShareGPT에서 제공한 62만 대화문 데이터셋을 기반으로 합니다.

해당 대화문을 DeepL 을 통해 모두 번역했습니다. 번역본 링크

학습경과

1. 번역된 62만 대화문과 Vicuna 7B 를 준비
2. A100 * 8 개로 15시간 동안 학습 진행
3. 자세한 학습 내역은 이곳을 참고해주세요.

데모

코랩

코랩프로일 경우 코랩에서 바로 사용해 보실수 있습니다.

이 주소를 통해 코랩에 들어간후 자세한 가이드를 따라해주세요.

우바부가 (text-generation-webui)

해당 모델은 비쿠나1.1v으로 학습되었으므로 우바부가를 사용할경우 Character 탭 에서 다음을 설정해주세요.

1. Your name -> USER:
2. Character's name -> ASSISTANT:

가중치공개

• 준의 허깅페이스에서 가중치 를 확인할 수 있습니다.

Author

• JUNE LEE - 송도 인공지능 스터디와 GDG송도에서 활동하고 있습니다.

kovicuna's Issues

프롬프트 템플릿 문의

안녕하세요! 좋은 모델 올려주셔서 감사합니다.

sampling_params = SamplingParams(temperature=0.7, top_p=0.95, max_tokens=MAX_TOKENS)
llm = LLM(model="junelee/ko_vicuna_7b", tensor_parallel_size=4)

현재 vllm을 사용하여 다음과 같은 방식으로 모델을 실행하려고 하는데, 프롬프팅을 어떻게 진행해야 하는지 정보를 찾을 수 없어 이슈를 작성합니다.

f"### USER:\n{instruction}\n\n### ASSISTANT:\n"

이 양식과 instruction을 그대로 주는 양식 모두를 테스트 해 보았는데 모두 이상한 출력이 나왔습니다. instruction tunning 된 모델인 것 같은데, 어떻게 작성해야 하나요?

Tokenizer 관련 문의

안녕하세요,
KoVicuna 모델을 사용하려고 하는데 혹시 tokenizer는 어떤걸 사용하면 되나요?

tokenizer = AutoTokenizer.from_pretrained('junelee/ko_vicuna_7b')

이 명령어를 사용하니

RecursionError: maximum recursion depth exceeded while getting the str of an object

아래와 같은 에러 메세지가 나왔습니다.