natasha / ipymarkup

NER, syntax markup visualizations

Collection of NLP visualizations for NER and syntax tree markup. Similar to Spacy displaCy and displaCy ENT.

Install

ipymarkup supports Python 3.7+.

$ pip install ipymarkup

Usage

>>> from ipymarkup import show_span_ascii_markup, show_dep_ascii_markup

>>> text = 'В мероприятии примут участие не только российские учёные, но и зарубежные исследователи, в том числе, Крис Хелмбрехт - управляющий директор и совладелец креативного агентства Kollektiv (Германия, США), Ннека Угбома - руководитель проекта Mushroom works (Великобритания), Гергей Ковач - политик и лидер субкультурной партии «Dog with two tails» (Венгрия), Георг Жено - немецкий режиссёр, один из создателей экспериментального театра «Театр.doc», Театра им. Йозефа Бойса (Германия).'
>>> spans = [(102, 116, 'PER'), (186, 194, 'LOC'), (196, 199, 'LOC'), (202, 214, 'PER'), (254, 268, 'LOC'), (271, 283, 'PER'), (324, 342, 'ORG'), (345, 352, 'LOC'), (355, 365, 'PER'), (445, 455, 'ORG'), (456, 468, 'PER'), (470, 478, 'LOC')]
>>> show_span_ascii_markup(text, spans)

В мероприятии примут участие не только российские учёные, но и 
зарубежные исследователи, в том числе, Крис Хелмбрехт - управляющий 
                                       PER───────────               
директор и совладелец креативного агентства Kollektiv (Германия, США),
                                                       LOC─────  LOC  
 Ннека Угбома - руководитель проекта Mushroom works (Великобритания), 
 PER─────────                                        LOC───────────   
Гергей Ковач - политик и лидер субкультурной партии «Dog with two 
PER─────────                                         ORG──────────
tails» (Венгрия), Георг Жено - немецкий режиссёр, один из создателей 
─────   LOC────   PER───────                                         
экспериментального театра «Театр.doc», Театра им. Йозефа Бойса 
                                       ORG─────── PER───────── 
(Германия).
 LOC─────  

>>> words = ['В', 'советский', 'период', 'времени', 'число', 'ИТ', '-', 'специалистов', 'в', 'Армении', 'составляло', 'около', 'десяти', 'тысяч', '.']
>>> deps = [(2, 0, 'case'), (2, 1, 'amod'), (10, 2, 'obl'), (2, 3, 'nmod'), (10, 4, 'obj'), (7, 5, 'compound'), (5, 6, 'punct'), (4, 7, 'nmod'), (9, 8, 'case'), (4, 9, 'nmod'), (13, 11, 'case'), (13, 12, 'nummod'), (10, 13, 'nsubj'), (10, 14, 'punct')]
>>> show_dep_ascii_markup(words, deps)

        ┌──► В            case
        │ ┌► советский    amod
┌──────►└─└─ период       obl
│       └──► времени      nmod
│ ┌►┌─┌───── число        obj
│ │ │ │ ┌►┌─ ИТ           compound
│ │ │ │ │ └► -            punct
│ │ │ └►└─── специалистов nmod
│ │ │     ┌► в            case
│ │ └────►└─ Армении      nmod
└─└─┌─┌───── составляло   
    │ │ ┌──► около        case
    │ │ │ ┌► десяти       nummod
    │ └►└─└─ тысяч        nsubj
    └──────► .            punct

Documentation

For more examples and explanation see ipymarkup documentation.

Support

• Chat — https://telegram.me/natural_language_processing
• Issues — https://github.com/natasha/ipymarkup/issues
• Commercial support — https://lab.alexkuk.ru

Development

Dev env

python -m venv ~/.venvs/natasha-ipymarkup
source ~/.venvs/natasha-ipymarkup/bin/activate

pip install -r requirements/dev.txt
pip install -e .

python -m ipykernel install --user --name natasha-ipymarkup

Lint + update docs

make lint
make exec-notebooks

Release

# Update setup.py version

git commit -am 'Up version'
git tag v0.9.0

git push
git push --tags

ipymarkup's Issues

Does it work in Colab?

No search in intervaltree > 3

Entity names shrinks to the shortes entity in the group

Hi! I found some small bug.
Here is the example:

Top entity is short, so it's name. 3 other entities are pretty long, but their names are shrinked to the shortest (top) entity.

The same example with bigger line_gap:

If we make top entity longer all renders fine:

What expected to be correct behaviour: each name shrinkage corresponding to its entity length, not to the shortest entity in the group.
Thanks!

Error using python 3.8

Traceback (most recent call last):
File ".../...py", line 1, in
from ipymarkup import show_box_markup
File ".../.venv/lib/python3.8/site-packages/ipymarkup/init.py", line 2, in
from .markup import * # noqa
File ".../.venv/lib/python3.8/site-packages/ipymarkup/markup.py", line 6, in
from cgi import escape
ImportError: cannot import name 'escape' from 'cgi' (.../.pyenv/versions/3.8.1/lib/python3.8/cgi.py)

Не запускаются примеры

Приветствую! После установки ipymarkup пробую запустить примеры https://nbviewer.jupyter.org/github/natasha/ipymarkup/blob/master/docs.ipynb. В результате - ошибка

cannot import name 'HtmlMarkup' from 'ipymarkup.markup'
и далее с другим примером

cannot import name 'show_ascii_markup' from 'ipymarkup'

Source distribution for PyPI

Could you make a source distribution on PyPI? That would make it easier for my colleagues within Facebook to use and perhaps contribute improvements to your code. We have import tools that make this go smoothly for us, but we need a source distribution if possible, so that we can have a lot of clarity on exactly what we are using, and can be sure to be maximally helpful to the open source community.

I think this gist says how to make a source distribution for PyPI.