실험) max_seq_length & doc_stride 변경 about level2-mrc-level2-nlp-09

[wogkr810]

우선 변경한 파라미터에 대한 근거는 다음의 자료와 같다.

• 찬국님께서 알려주신 허깅페이스 공식 토론 : 일반적인 설정 , (384,128)
• 오피스아워 때 말씀해주신 max_sequence_length : doc_stride의 적정 비율 3:1 or 4:1

---

근거에 따라 default 설정 (max_sequence_length , doc_stride) = (384,128) 을

• (512,128)
• (768,192)
• (384,96)
  로 변경하며 진행해봤다. wandb 성능 그래프는 밑의 이미지와 같으며, 현재 SOTA와 비교했을 때, 그래프 상의 성능향상이 없으므로 제출은 하지 않았다.

[wogkr810]

명백한 근거는 없지만, max_sequence_length를 늘리기만 해서, 줄여서도 실험을 해보았다.

• (128,64)
• (128,32)
  결과는 밑의 이미지처럼 성능 하락이었다.

[wogkr810]

추가적인 실험
max_sequence_length : 384, doc_stride : 128 인 default setting에서 doc_stride를 96로 변경하였을 때, 성능 그래프는 밑의 이미지와 같다. 128일 경우와 다르게 학습 후반부에 갈수록 점점 더 성능이 상승할 여지가 보여서, 팀원분의 의견에 따라 epoch을 5로 늘려서 실험할 예정이다. 하지만, 현재 baseline의 lr_scheduler는 linear로 고정되어있어서 epoch에 따른 lr의 감소세가 다르다. 따라서, 우선 lr_scheduler_type을 변경하여 감소세를 맞춰줘야 실험의 성능이 재현될 것이다.