iago / fernando-pessoa

Classificador de Heterônimos do Fernando Pessoa

Pré-requisitos

Esse projeto foi desenvolvido utilizado Python 3 e Jupyter notebooks. Ele pode ser visualizado online em um binder.

Alternativemente, as dependências desse projeto estão listadas em requirements.txt. Para instalá-las, utilize o comando:

pip install -r requirements.txt

Guia de Uso

Extração de Dados

Os dados foram extraídos do site arquivopessoa.net utilizando scrapy e estão disponíveis no arquivo fernando_pessoa.csv. As colunas do dataset estão exemplificadas abaixo:

id	autor	titulo	tipo	texto	data	bibliografia
4	Ricardo Reis	Diana através dos ramos	poesia	Diana através dos ramos Espreita a vinda de Endymion...	16-6-1914	Poemas de Ricardo Reis. Fernando Pessoa. (Edição Crítica de...
5	Fernando Pessoa	A REFORMA DO CALENDÁRIO E AS SUAS CONSEQUÊNCIAS COMERCIAIS	prosa	A REFORMA DO CALENDÁRIO E AS SUAS CONSEQUÊNCIAS COMERCIAIS...	10-3-1933	Páginas de Pensamento Político. Vol II. Fernando Pessoa...

Para rodar o scraper, basta executar:

scrapy crawl ArquivoPessoa -o fernando_pessoa.csv

Créditos

Esse projeto depende das seguintes bibliotecas:

• NumPy
• pandas
• matplotlib
• seaborn
• scikit-learn
• NLTK
• spaCy
• scrapy
• html2text

Autores

Desenvolvido pela área de PLN (processamento de linguagem natural) do Grupo Turing:

• Fernando Matsumoto
• Iago Nunes
• Igor de Camargo
• Júlia Pocciotti
• Lucas Sepeda

Licença

Distribuído sob a licença MIT. Veja LICENSE para mais informações.