tehnar / event-extraction

Event-extraction

Пакеты для питона

• psycopg2
• flask-wtf
• flask_nav
• python-dateutil

Создание базы данных

psql postgres -f create.sql

MacOS psql path: /Applications/Postgres.app/Contents/Versions/9.5/bin/psql postgres -f create.sql

Загрузка статей

python3 spacy_event_extractor.py

Запуск сервера

python3 run_web_server.py

event-extraction's Issues

DEVELOPERECONOMICS: dump articles

add source filter to web ui

Было бы здорово фильтровать события по источникам новостей. Если не хранится источник в базе, то можно получать его из url.

Simple web-UI

Нужна простая веб-морда.
Для начала предлагаю просто вывести все события, отсортировав их в порядке выпуска статей, из которых они выдернуты. Рядом с каждым событием хочется видеть предложение, дату и ссылку на оригинальную статью.

downloader hierarchy

Непоняная каша из downloader'ов.
Давайте их всех засунем в отдельный модуль внутри модуля data_mining и сделаем им родителя, который будет при наследовании от него сразу помещать потомка в список downloaders. Больше родитель ничего делать уметь не будет, т.е. у него будет абстрактный метод get_articles.

см:
NotImplementedError
metaclass

ITNEWS: load more articles

Load more articles by pushing button 'load more'.

add type annotations

Если уж мы стали работать с третьим питоном, то давайте как модные ребята делать аннотации на функции.
Почитать про них можно тут:
https://www.python.org/dev/peps/pep-3107/
После этого сразу жить станет проще и pycharm, как приличная среда разработки будет показывать ошибки типизации (в питоне). Ничего сложного там объявить нельзя. Т.е. можно показать, что в функцию передается список, но что в этом списке неизвестно. Но все равно полезно.

Начиная с версии 3.5 можно использовать полноценные type hints, которые позволяют чуть ли не хаскель с алгебраическими типами накрутить поверх питона.
https://www.python.org/dev/peps/pep-0484/
https://www.jetbrains.com/help/pycharm/5.0/type-hinting-in-pycharm.html
Но мы пока используем 3.4.

Design an EventExtractor interface

add requirements.txt

Почитайте про requirements.txt (например здесь https://pip.pypa.io/en/stable/user_guide/) и добавьте его в проект, чтобы можно было легко устанавливать зависимости.
Можете еще поискать какие-нибудь best practices.
Тогда соответствующую графу из readme можно будет убрать. Она все равно не соответствует действительности.
Для того чтобы проверить какие пакеты действительно нужны для установки вашего приложения попробуйте запустить его в отдельном окружении (см. virtualenv). Тогда и генерировать списки зависимостей будет легче (см. http://docs.python-guide.org/en/latest/dev/virtualenvs/)

entity highlighing bug in ui

В некоторых случаях криво подсвечиваются сущности.
https://www.dropbox.com/s/sze7dl3r0pdjaph/Selection_009.png?dl=0
А идея прикольная

ARSTECHNICA: dump articles

Implement ExTree class

Implement class ExTee(Tree) and add additional methods.