구현) inference 후처리 작업(조사처리) about level2-mrc-level2-nlp-09

[HanNayeoniee]

현재 sota 결과인 fine-tuning을 두 번 진행한 reader와 elasticsearch bm25기반 retriever(topk=40)의 예측값에 문장 형식으로 있는 경우가 있었다.

"mrc-0-001659": "솔레놉신이 있다. 인간에게는 솔레놉신이" → "솔레놉신"
"mrc-1-000524": "슬로보단 밀로셰비치의 통제 하로 들어가게 된다. 밀로셰비치" → "밀로셰비치"

성능이 좋은 모델일수록 예측값에 긴 문장이 들어있는 경우는 적었지만, 이런 케이스를 줄이면 성능이 향상될 것이라고 생각해 위 예시에서 화살표 오른쪽과 같이 수작업으로 수정했다.
(형태소 분석기를 사용해 조사를 떼어낸 후에 카운트 기반으로 가장 많이 등장한 토큰을 정답으로 선택하는 후처리 방법을 생각했는데, 적용하는데 시간이 걸려 시험삼아 수작업으로 진행해보았습니다.)

후처리 이후에도 EM, F1 score가 동일한 성능을 보였습니다. 아래 2가지 의문이 들었는데, metric 계산 과정을 다시 한 번 확인하면 후처리에 대한 방향을 얻을 수 있을 것 같습니다.

• 전체 600개의 test data 중 극히 일부분이라서 성능에 변화가 없는건지?
• EM 측정 방법을 생각해보면 정답이 포함되기만 하면 맞다고 계산하기 때문에 성능에 변화가 없는건지? (이 부분은 EM 계산과정을 자세히 들여다봐야 확실히 알 수 있을거같아요)

[wogkr810]

후처리 관련하여, 시도& 얻은 인사이트를 정리한 post_process.ipynb 파일을 추가하였다.