yoosunghyun / deep-learning

BERT, torch-lightning, rnnlm, attention, mase etc.. for study

./BERT_GYM : BERT를 훈련해봅시다. 모델도 자신도요!, 추가로 lstm을 fine tuning해보기 위한 소스도 동봉되어있습니다.
--salt_bert : T-Academy에서 연습한 파일들이 들어있습니다. BERT_GYM root에 있는 쥬피터 노트북으로 돌려보세요! Tensor 2에서도 작동합니다.
--time_schedule_bert : fine tuning을 lstm으로 하고 싶으시다면, 혹은 참고해서 다른 layer를 쌓아보고 싶으시다면 참고해보세요!
--폴더 아닌 파일들 : salt_bert를 이용하기 위한 쥬피터 노트북 파일들입니다.

./PyTorch-Lightning : Torch Lightning을 사용하면서 사용해본 예제 혹은 템플릿들을 저장합니다.

./RNNLM : ASR 모델을 위한 Beam Search Decoder에서 사용할 수 있는 Language Model 학습용 소스입니다. PyTorch Example을 논문에 맞게 활용할 수 있도록 수정하였습니다.

./Structured-Self-Attentive : BERT 이전의 Transformer형의 자연어 TASK 모델 중 하나입니다. 카테고리 분류를 위한 Task 이며, Attention Weight의 Visualize가 포함됩니다.
--visualize와 train, predict에 사용되는 python 파일들이 동봉되어 있습니다. Data만 준비하세요!

./utils : 잡다구리 유틸성 python파일들 들어있습니다.
--custom_loss_2_true.py : time-series 예측을 위한 mase 커스텀 소스