woodiedudy / kontur-intern

Контур Data Scientist intern домашка (Апрель 2023)

Автор: Крамаренко Георгий

Описание

Стоит задача извлечения ключевого куска из текста по заранее изветному набору запросов.
Всего есть два типа запросов:

• обеспечение исполнения контракта
• обеспечение гарантийных обязательств

Пример, какой кусок надо извлечь из текста для первого запроса:

...Наименование кредитной организации" "Номер корреспондентского счета" Обеспечение исполнения контракта Требуется обеспечение исполнения контракта Размер обеспечения исполнения контракта 6593.25 Российский рубль Порядок обеспечения исполнения контракта, требования...

Данные (в папке data):

1. Был предоставлен train.json содежащий пары (текст, фрагмент который нужно выделить)
2. И test.json, содержащий только тексты, из которых надо выделить фрагменты

Решение

Я решил интерпретировать эту задачу как NLP NER (Named Entity Recognition) задачу. И зафайнтюнить под нее BERT. Подробный код обучения можно найти в train_bert.ipynb
На wandb можно посмотреть графики экпериментов