marker-inc-korea / korean-openorca

OpenOrca-KO dataset을 활용하여 llama2를 fine-tuning한 Korean-OpenOrca

🐳Korean-OpenOrca🐳

Korean-Open-platypus 데이터셋을 활용하여 llama-2-ko를 fine-tuning한 Korean-Platypus model

🐳KoR-Orca-Platypus-13B🥮:
🐳Korean-OpenOrca-13B:

🐳OpenOrca-KO:
🐳KOR-OpenOrca-Platypus:
본 연구는 (주)마커와 (주)미디어그룹사람과숲의 오픈소스 LLM 연구 컨소시엄에서 진행되었습니다.

---

Model BenchMark(KO-LLM; will update new version)

Model	Average	Ko-ARC	Ko-HellaSwag	Ko-MMLU	Ko-TruthfulQA	Ko-CommonGen V2	Dataset	Base_model
🐳KoR-Orca-Platypus-13B	50.13	42.06	53.95	42.28	43.55	68.78	KOR-OpenOrca-Platypus	ko-en-llama2-13b
🐳Korean-OpenOrca-13B	47.85	43.09	54.13	40.24	45.22	56.57	🐳OpenOrca-KO	ko-en-llama2-13b
KoT-Platypus2-13B	49.55	43.69	53.05	42.29	43.34	65.38	KoCoT	KO-platypus2-13B
KO-platypus2-13B	47.90	44.20	54.31	42.47	44.41	54.11	KOpen-platyus	ko-en-llama2-13b

News

• 2023.10.14

  • Llama2-13B를 KOR-Orca-Platypus 데이터셋을 활용하여 fine-tuning한 🐳KoR-Orca-Platypus-13B Model 제작 완료.
  • HuggingFace KO-LLM 리더보드 1등 달성.

• 2023.10.09

  • Llama2-13B를 OpenOrca-KO를 활용하여 fine-tuning한 🐳Korean-OpenOrca-13B Model 제작 완료.
  • HuggingFace KO-LLM 리더보드 5등(3등) 달성.

Quick start

### KO-Platypus
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

repo = "kyujinpy/Korean-OpenOrca-13B"
OpenOrca = AutoModelForCausalLM.from_pretrained(
        repo,
        return_dict=True,
        torch_dtype=torch.float16,
        device_map='auto'
)
OpenOrca_tokenizer = AutoTokenizer.from_pretrained(repo)

Datasets

from datasets import load_dataset

# dataset testing
dataset = load_dataset("kyujinpy/OpenOrca-KO") # But currently, private repo. Please wait!

🐳OpenOrca-KO:

It is public state!

References

🐳OpenOrca
Kopen-Platypus🥮
🐳OpenOrca-KO
Platypus
llama-2-ko
ko-en-llama2
🐳Korean-OpenOrca-13B

TODO

• Make KOR-OpenOrca
• Share huggingface repo
• Combined platypus+OpenOrca datasets
• Make KOR-OpenOrca-Platypus
• Share evaluation results
• Share datasets

korean-openorca's Issues

inference 시 필요한 GPU

안녕하세요,

먼저 리더보드에서 좋은 순위 달성 하신 것 축하드립니다.

해당 모델을 사용해보려고 하는데 inference 시 GPU가 몇장정도 필요한지 궁금합니다.

감사합니다.

파인튜닝 시 프롬프트 구성이 궁금합니다.

좋은 자료 공유 감사드립니다.

파인튜닝시에 프롬프트 구성을 공유 해 주실수 있으실까요?

[질문] 파인튜닝 방법

먼저, leaderboard에서 좋은 성적 축하드립니다!
SFT 시 사용한 프롬프트 공유가능한가요?
추가적으로 학습시 Hyperparameter도 궁금합니다. (lora config 관련)