insublee / gas_summarization

GAS_summarization

가스・에너지분야 문서요약 모델개발

본 레포는 대회 참가자들에게 혹시나마 도움을 줄 수 있을까 싶어 개발하였습니다.
데이터셋 처리는 huggingface의 Datasets 라이브러리를 사용했고,
모델은 huggingface 사전학습된 트랜스포머를 사용했습니다.
학습 파이프라인은 파이토치 라이트닝을 사용했습니다.
또한, 베이스라인이기 때문에 성능은 보장할 수 없습니다.

데이터 EDA, 모델 튜닝을 통해서 성능을 끌어올려보세요.
(그리고 스타도 눌러주시기 부탁드립니다.)

USAGE

1. https://kogasbigstar.kr/ 에서 참가 신청을 합니다.
2. https://aihub.or.kr/aidata/8054 다운로드 탭에서 로그인 후 데이터를 다운받습니다.
3. 다운받은 데이터를 data 폴더 하위에 위치시킵니다.
4. 스크립트를 실행시킵니다.