intelligent-systems-phystech / 2018-project-12

Unsupervised Machine Translation

2018-Project-12

##Unsupervised Machine Translation

#Обучение машинного перевода без параллельных текстов.

Данные для эксперимента: https://drive.google.com/drive/folders/1nzvxXqcYhWAgXr_ZO_s0c1gymXt5pMjd?usp=sharing

2018-project-12's Issues

Измерить зависимость качества от размера словаря

Измерить зависимость качества от размера корпуса

Подготовить выборки для обучения машинного перевода

Подготовить две выборки (задача на два человека):
a. Выборка предложений из параллельного корпуса OPUS (субтитры) с ограниченным словарем (словари выдам)
b. Выборка предложений из корпуса непараллельных текстов с тем же ограниченным словарем.

В результате должны быть доступны как выборки, так и код получения этих выборок (допустимо использование jupyter).
Задача рассчитана на 2 человека.

Изучить влияние шума

Провести эксперимент по объединению векторов слов

Проанализировать гиперпараметры

Провести поиск материалов по анализу качества пары "русский-украинский".

В результате --- краткое описание корпусов, доступных для тестирования качества машинного перевода в Google Doc (Link Review).

Задача рассчитана на 2 человека.

Написать пословный перевод на основе словарей.

Написать пословный алгоритм перевода в двух вариантах:

1. по реальному словарю
2. по словам из общего пространства слов MUSE (https://github.com/facebookresearch/MUSE)
3. Провести перевод корпуса multi30K (en-fr).
4. Оценить качество по BLEU

В результате: залит код, допустимо в формате ipython-notebook

Задача рассчитана на 2 человека.

Измерить зависимость качества от архитектуры сети

Запустить эксперименты

Разобраться с кодом по машинному переводу.

Разобраться с кодом одной из реализации статьи.

1. https://github.com/IlyaGusev/UNMT
2. https://github.com/sobamchan/unsupervised-machine-translation-using-monolingual-corpora-only-pytorch
3. https://github.com/Intelligent-Systems-Phystech/2018-Project-12/blob/master/code/sample_notebooks/monogolingual_mt_example.ipynb

В результате должен быть добавлен задокументированный код в репозиторий, качество должно быть на уровне того, что есть в статье.

Задача рассчитана на 3 человека.