구현) sparse retrieval ensemble about level2-mrc-level2-nlp-09

[detailTales]

구현 방법:

1. 단순히 retrieval들이 뽑아낸 passage들 사이 많이 포함되어 있는 것들 위주로 뽑는 hard voting 앙상블
2. 뽑힌 passage들의 score까지 고려한 soft voting 앙상블

• 두 방식 다 passage들을 전부 이어 붙이고 string으로 관리하는 현 방식에서 사용하기 힘들다.
• 각 retrieval에서 test 케이스에 있는 질문들을 retrieve 한 결과물을 저장하고 voting하여 결과물을 내는 방법을 사용해야 할 것 같다. (2번의 경우 점수도 같이 저장)
• 2번 방법의 경우 각 retrieval의 점수 기준이 달라서 정규화가 필요하다.

[detailTales]

각 retriever가 뽑아온 passage들이 어느정도로 유사한지 확인하기 위해 교집합의 크기를 시각화했다.

그 결과 상위 40개의 문서에 대하여 BM25와 TF-IDF는 평균 14개의 문서가 공통이라서 성능은 둘다 0.90이상 이지만 가져온 문서가 그렇게까지 비슷하지는 않다는 것을 알게되었다.

이후 DPR 구현하면서 알게된 rerank를 적용하여 TF-IDF, BM25, BM25+ 의 각 점수들을 min max scaling을 통해 크기를 맞춰주고 합한다음에 rerank하여 상위 40개의 문서를 반환했다. 리더보드 상 점수는 exact match score 기준 66.25에서 69.58로 올랐다. 이를 통하여 여러 retriever들이 높은 점수로 찾아온 passage들을 합하는 것이 정답이 들어있는 passage들을 더 잘 포함한다는 것을 알게 되었다.