kb-ai-research / kb-albert

KB국민은행에서 제공하는 경제/금융 도메인에 특화된 한국어 ALBERT 모델

KB-ALBERT

KB국민은행에서 제공하는 경제/금융 도메인에 특화된 한국어 ALBERT 언어모델

Introduction

KB-ALBERT 언어모델이란

• KB-ALBERT는 Google 에서 제안한 ALBERT(A Lite BERT) 아키텍처를 기반으로 대량의 한국어를 학습시킨 사전학습 언어모델입니다.

  • ALBERT는 BERT 계열의 PLM(Pretrained Language Model) 아키텍쳐의 일종으로 경량화 설계가 특징입니다.
  • 대량의 언어데이터로 학습된 언어모델이 있으면 비교적 적은 양의 학습데이터로도 Task에 맞게 finetuning 학습이 가능합니다.

• KB-ALBERT는 금융권 한국어 뿐만아니라 일반적인 한국어 Task를 학습하는 경우에도 우수한 성능을 보입니다.

  	NSMC (Acc)	KorQuAD (EM/F1)	금융MRC (EM/F1)	Size
  Bert base multi-lingual	87.32	68.43 / 88.43	39.48 / 64.74	681M
  KB-ALBERT-CHAR-v2	89.62	84.14 / 92.13	50.12 / 68.21	36M

사용 방법

• 모델의 사용법 및 예제는 하위 디렉토리에 있는 README.md 파일을 참고해주세요.
• KB-ALBERT는 비영리를 목적으로만 사용할 수 있습니다.
• 모델을 사용하고자 하시는 분들은 아래 메일로 소속, 이름, 사용용도를 간단히 작성하셔서 발송해 주세요.
  • [email protected]

Version History

• v1 (kb-albert-char-v1) 공개
• v2 (kb-albert-char-v2) 공개

구 버전 모델 관련 코드는 이후 삭제될 수 있습니다.

License

• KB-ALBERT의 모델 파일과 코드는 별개의 라이선스 정책이 적용됩니다.
• 이 저장소의 코드는 Apache-2.0 라이선스 하에 공개되어 있습니다. 라이선스 전문은 LICENSE 파일에서 확인하실 수 있습니다.
• 모델 파일은 비영리목적으로 요청한 분들께만 개별적으로 보내드립니다. 모델 파일의 라이선스 정책은 모델과 함께 전달해드립니다.

---

(참고) 다른 곳에서 공개한 한국어 PLM도 참고해보세요.

• ETRI : KorBERT(http://aiopen.etri.re.kr/service_dataset.php)
• SK T-Brain : SKT-KoBERT, SKT-KoGPT... (https://github.com/SKTBrain)

kb-albert's Issues

tokenizer = AlbertTokenizer.from_pretrained(kb_albert_model_path) 에서 에러가 납니다

tokenizer = AlbertTokenizer.from_pretrained(model_path) 부분을 실행하면 TypeError: not a string 에러가 뜹니다.
python 3.8
transformers 4.9.1 입니다.
에러 전문은 다음과 같습니다. 구글링 해도 해답 찾기가 쉽지가 않네요ㅜ
TypeError Traceback (most recent call last)
in
----> 1 tokenizer = AlbertTokenizer.from_pretrained('model')

~\anaconda3\envs\minsu\lib\site-packages\transformers\tokenization_utils_base.py in from_pretrained(cls, pretrained_model_name_or_path, *init_inputs, **kwargs)
1730 logger.info(f"loading file {file_path} from cache at {resolved_vocab_files[file_id]}")
1731
-> 1732 return cls._from_pretrained(
1733 resolved_vocab_files, pretrained_model_name_or_path, init_configuration, *init_inputs, **kwargs
1734 )

~\anaconda3\envs\minsu\lib\site-packages\transformers\tokenization_utils_base.py in _from_pretrained(cls, resolved_vocab_files, pretrained_model_name_or_path, init_configuration, *init_inputs, **kwargs)
1848 # Instantiate tokenizer.
1849 try:
-> 1850 tokenizer = cls(*init_inputs, **init_kwargs)
1851 except OSError:
1852 raise OSError(

~\anaconda3\envs\minsu\lib\site-packages\transformers\models\albert\tokenization_albert.py in init(self, vocab_file, do_lower_case, remove_space, keep_accents, bos_token, eos_token, unk_token, sep_token, pad_token, cls_token, mask_token, sp_model_kwargs, **kwargs)
169
170 self.sp_model = spm.SentencePieceProcessor(**self.sp_model_kwargs)
--> 171 self.sp_model.Load(vocab_file)
172
173 @Property

~\anaconda3\envs\minsu\lib\site-packages\sentencepiece_init_.py in Load(self, model_file, model_proto)
365 if model_proto:
366 return self.LoadFromSerializedProto(model_proto)
--> 367 return self.LoadFromFile(model_file)
368
369

~\anaconda3\envs\minsu\lib\site-packages\sentencepiece_init_.py in LoadFromFile(self, arg)
169
170 def LoadFromFile(self, arg):
--> 171 return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg)
172
173 def DecodeIdsWithCheck(self, ids):

TypeError: not a string

Question Answering task 질문

안녕하세요, 혹시 현재 공유하고 계신 kb-albert 모델로 question answering task를 풀 수 있나요?
아니면 별도의 데이터셋으로 학습해야지 task를 풀 수 있는 건가요?

모델 공개는 안하시는건가요?

이메일로 신청받는다고 써져있는데 고려후 답준다는 말 이후 연락이 없으시네요.

Tensorflow 오류

안녕하세요, 며칠 전에 메일로 문의 드린 학생입니다. 먼저 답변 감사합니다.
문의 드리기 전에도 말씀하시대로 from_pt = True로 놓고 실행했었습니다. 코드는 README 4번 코드 그대로 사용했고
kb_albert_model_path = "model"만 추가했습니다. 실제로 pytorch 예제는 자 실행이 됩니다.
먼저 에러 내용은 다음과 같습니다.

All PyTorch model weights were used when initializing TFAlbertModel.

Some weights or buffers of the PyTorch model TFAlbertModel were not initialized from the TF 2.0 model and are newly initialized: ['predictions.LayerNorm.weight', 'sop_classifier.classifier.bias', 'predictions.decoder.bias', 'sop_classifier.classifier.weight', 'predictions.decoder.weight', 'predictions.dense.weight', 'predictions.dense.bias', 'predictions.LayerNorm.bias', 'predictions.bias']
You should probably TRAIN this model on a down-stream task to be able to use it for predictions and inference.
Traceback (most recent call last):
File "c:/Users/user/KB-ALBERT-KO/kb-albert-char/ex.py", line 12, in
tf_model = TFAlbertModel.from_pretrained(kb_albert_model_path)
File "C:\Users\user\AppData\Local\Programs\Python\Python37\lib\site-packages\transformers\modeling_tf_utils.py", line 437, in from_pretrained
[WEIGHTS_NAME, TF2_WEIGHTS_NAME], pretrained_model_name_or_path
OSError: Error no file named ['pytorch_model.bin', 'tf_model.h5'] found in directory model or from_pt set to False

model 파일 안에 pytorch_model.bin 파일이 있는데도 저런 오류가 뜨네요...

모델 공유 관련 질문

안녕하세요, KB-ALBERT 모델을 공유받고 싶어 메일을 보냈는데, 아직 공유 가능 여부를 답장으로 받지 못해 이슈 남깁니다.
혹시 지금은 공유가 아예 불가능하신 건가요? 아니면 아직 공유 여부를 결정 중이신 건가요?

현재 모델파일은 어떻게 받아야하나요?

안녕하세요.
Kb-albert모델을 사용해보고싶은데 현재 모델파일을 신청하는 메일 주소([email protected])로 메일 전송이 불가능한 상태입니다.
모델 공개가 불가능한 것인지 신청방법이 변경된 것인지 알수 없어 남깁니다.