Esse projeto foi desenvolvido utilizado Python 3 e Jupyter notebooks. Ele pode ser visualizado online em um binder.
Alternativemente, as dependências desse projeto estão listadas em requirements.txt. Para instalá-las, utilize o comando:
pip install -r requirements.txt
Os dados foram extraídos do site arquivopessoa.net utilizando scrapy e estão disponíveis no arquivo fernando_pessoa.csv. As colunas do dataset estão exemplificadas abaixo:
id | autor | titulo | tipo | texto | data | bibliografia |
---|---|---|---|---|---|---|
4 | Ricardo Reis | Diana através dos ramos | poesia | Diana através dos ramos Espreita a vinda de Endymion... |
16-6-1914 | Poemas de Ricardo Reis. Fernando Pessoa. (Edição Crítica de... |
5 | Fernando Pessoa | A REFORMA DO CALENDÁRIO E AS SUAS CONSEQUÊNCIAS COMERCIAIS | prosa | A REFORMA DO CALENDÁRIO E AS SUAS CONSEQUÊNCIAS COMERCIAIS... | 10-3-1933 | Páginas de Pensamento Político. Vol II. Fernando Pessoa... |
Para rodar o scraper, basta executar:
scrapy crawl ArquivoPessoa -o fernando_pessoa.csv
Esse projeto depende das seguintes bibliotecas:
Desenvolvido pela área de PLN (processamento de linguagem natural) do Grupo Turing:
Distribuído sob a licença MIT. Veja LICENSE
para mais informações.