정리) SOTA모델_Reader(MRC) about level2-mrc-level2-nlp-09

[nonegom]

Week1 SOTA모델

Reader

모델: KLUE/RoBERTA-Large
Learning_rate: 3e-5
Epoch: 3
Step: 2600 step

모델링크: https://huggingface.co/Nonegom/klue-roberta-large

retrieval

모델: TF_IDF / top_k_40

리더보드: EM: 60 / F1: 70.42

KLUE/RoBERTA-Large모델의 경우 이전 MRC Task 당시 좋은 성능을 보였던 모델이었기 때문에, 첫 주에 쉽게 접근해서 모델을 선정했다. 하이퍼 파라미터 값은 파라미터 튜닝(lr: 3e-5, 5e-5, 1e-5 / Epoch:1, 3, 5)을 통해 선정을 헀으며 가장 좋은 성능을 보였던 모델이었다.
해당 모델의 경우 기존 top_k_10에서 40으로 올렸을 때 성능향상 폭이 컸으며, top_k를 40정도로 줬을 때 성능이 좋다는 것을 알게 해준 모델이었다.

[nonegom]

Week2 SOTA모델

Reader

모델: KLUE/RoBERTA-Large (1차 Finetune: KorQuAD / 2차 Finetune: Train_Dataset)
Learning_rate: 9e-6
Epoch: 3
Step: 2800 step

모델링크: https://huggingface.co/Nonegom/roberta_finetune_twice

retrieval

모델: TF_IDF / top_k_40

리더보드: EM: 64.58 / F1: 75.02

다른 팀원분(성진, 나연)께서 삼성 SDS에서 Korquad 모델의 성능을 높이기 위해서 총 2번의 Fine-tuning을 진행해서 성능을 올렸다는 내용을 보고 우리 Task에 적용시키면 좋겠다는 생각을 함. SDS와는 다르게 우리의 경우 1차를 KorQuAD데이터셋으로 2차를 현재 Train_dataset으로 해서 2번 Finetuning을 진행하고자 했다.

실험 결과 이전 SOTA모델과 비교했을 때, 동일한 파라미터 세팅값에서는 성능차이가 있어서 하이퍼파라미터 튜닝을 진행했고, learning_rate 1e-5(기존 3e-5)에서 더 좋은 eval 그래프를 보여서 제출했다. 이때, 이전 SOAT모델과 Retrieval도 동일하게 해서 비교했을 때, TF-IDF(top_k:40) EM: 61.6700 F1: 71.3000으로 더 성능향상이 있었다.

그래서 다른 팀원분께서 구현해주신 BM-25(okapi)로 retrieval를 변경해서 inference를 진행했고, EM: 64.58 / F1: 75.02을 달성할 수 있었다.

[nonegom]

Issue

SOTA2모델을 재현하는 부분에서 재현이 안되는 문제가 생김. 알아보니 현재 SOTA2 모델의 경우 실수로 200 step에서 멈추고 다시 시작한 적이 있었다. 하지만 checkpoint에서부터 진행을 했을 때나 일반 모델을 돌렸을 때 둘 다 성능 차이가 없을 것이라고 생각했었는데 정작 모델을 돌려봤을 때 차이가 생기는 것을 확인할 수 있었다.

이에 대해서 원인을 찾기 위해 검색을 하고, 조교님께 여쭤봤는데도 뚜렷한 이유에 대해서 찾을 수 없었다. 단지 몇몇 사이트에서 해당 checkpoint파일을 load해서 학습할 시 문제가 생기는 경우가 있다고 얘기하고 있기는 했지만 충분한 답이 되지는 않았다. 현재는 팀원들과 얘기를 나누면서 DataLoader 쪽에서 데이터를 load하는 과정에서 차이가 발생해서 다른 부분이 생긴 것은 아니었을 지 추측하고 있다. 추후 이에 대한 원인에 대해서 새로운 가설이나 내용이 나온다면 추가적으로 적도록 하겠다.