pkositsyn / text-generator Goto Github PK

https://github.com/Vemmy124/Text-Generator/blob/c27ca64284777086f8ad8089fa9f2debef474c70/generator.py#L12

Предлагаю воспользоваться модулем pickle для сохранения вашего словаря прямо в файл. Вы здесь фактически делаете свою собственную сериализацию и десериализацию словаря, что может повлечь ошибки (и скорее всего, уже их влечет)

https://github.com/Vemmy124/Text-Generator/blob/c27ca64284777086f8ad8089fa9f2debef474c70/generator.py#L27

Логичнее сначала одной функцией сгенерировать весь текст, а потом вывести его в нужный поток другой функцией. В основном теле файла вообще должно быть как меньше кода

Давайте воспользуемся магической функцией для инициализации, раз уж она есть и все её используют. Тогда можно будет сразу создавать объекты конструктороподобно: parser = Parser(some_args)

Чтобы не работать со стандартными потоками и файлами по-разному, а оборачивать их в один контекстный менеджер, можно воспользоваться хаком вот из этого вопроса: https://stackoverflow.com/questions/17602878/how-to-handle-both-with-open-and-sys-stdout-nicely/17603000

Всё неплохо, но беда со всякими пробелами и пустыми строками между методами (они нужны, без них не читается выглядит непрофессионально). Рекомендую воспользоваться какой-нибудь автоматической проверкой!

Кроме choice там есть choices, который умеет учитывать вероятности без дублирования элементов

Я вижу, что, как минимум, smart_open используется в двух файлах сразу. Давайте же его вынесем в отдельный файл, что-нибудь вроде utils.py

Заодно туда же можно унести работу с pickle (тогда его можно будет вообще не импортировать в основных файлах) и что-то ещё сугубо техническое, если найдется

https://github.com/Vemmy124/Text-Generator/blob/c27ca64284777086f8ad8089fa9f2debef474c70/train.py#L5

Давайте превратим функцию Parse в класс Parser (кстати, функции, в отличие от классов, именуются со строчной буквы).
Пусть он, например, умеет:
-инициализироваться исходным текстом (init)
-предобрабатывать строки (preprocess)
-возвращать токены (get_tokens)