llucasreis / paic-2018

Repositório para ter fácil acesso e armazenar arquivos do PAIC

PAIC - 2018

Respositório para ter fácil acesso entre computadores diferentes ou sistemas operacionais diferentes aos documentos/arquivos do PAIC.

paic-2018's Issues

Realizar a recomendação utilizando a filtragem baseada em conteúdo

Na issue #4, foi desenvolvido dois algoritmos para prover dados, estes dados serão utilizados em um novo algoritmo para aplicar a filtragem baseada em conteúdo e assim realizar a recomendação de candidatos.

Desenvolver artigo resumido para ENCOSIS (prazo 10 de abril)

Desenvolver um artigo resumido de 5 páginas para ser submetida no ENCOSIS, a data máxima é até o dia 10 de abril.

Tópicos:

1. Introdução
2. Fundamentação Teórica
   2.1 Sistemas de Recomendação
   2.2 Filtragem Baseada em Conteúdo
   2.3 Filtragem Colaborativa
   2.4 Filtragem Híbrida
3. Trabalhos Relacionais
4. Materiais e Métodos
   4.1 Dados Experimentais
   4.2 Arquitetura do Sistema de Recomendação
   4.3 Descrição da Tarefa de Recomendação
5. Resultados e Discussão
   6.Considerações Finais
6. Referências

Corrigir extração de dados da filtragem baseada em conteúdo

Atualmente a filtragem baseada em conteúdo está utilizando a biblioteca PyPDF2 para realizar a extração de dados dos pdf's, porém alguns arquivos não podem ser lidos devido a limitação de biblioteca. Será necessário procurar por outra alternativa.

Minerar os dados da proposta de cada candidato à presidente

As propostas de cada candidato estão disponíveis em um artigo web no site da globo. Deve-se minerar os dados de cada pdf dos candidatos e verificar a quantidade de citação de cada área (economia, saúde, tecnologia, etc).

Coletar avaliações de eleitores sobre diversos candidatos

Será realizado testes na recomendação da filtragem colaborativa, para isso será necessário coletar avaliações de eleitores sobre os candidatos para os dois códigos, ou seja:

• Coletar avaliações de eleitores (de 1 a 5) sobre os candidatos

Com estes dados, será preparado um dataset e então realizar a recomendação para verificar o desempenho dos algoritmos

Melhorar o código do TF-IDF

O algoritmo TF-IDF consegue executar sua proposta, de mensurar a importância do candidato, porém algo parece estar errado, visto que alguns candidatos estão retornando valores muitos baixos.

Para verificar se estes valores estão errados, é necessário buscar outra implementação do TF-IDF e executá-la.

Utilizar a filtragem colaborativa com o algoritmo KNN

Observou-se que existem muitos candidatos similares durante a realização da filtragem colaborativa, por isso será estudado a abordagem de utilizar o algoritmo KNN para buscar os vizinhos mais próximos e juntar as avaliações de todos

Avaliar as recomendações das filtragens pelas métricas de desempenho

Utilizar a métrica de desempenho RMSE e as clássicas quando posśivel: precisão, revocação, F-Score.

Fazer um estudo comparativo sobre diversos frameworks para Sistemas de Recomendação

Verificar os seguintes links e realizar um estudo comparativo entre eles:
http://surpriselib.com/
https://github.com/muricoca/crab
http://easyrec.org/home
http://www.duineframework.org/

Desenvolver o primeiro Dataset + Filtragem Colaborativa

Para fazer esta issue, deve-se primeira fazer a #4 .

Após minerar os dados, deve-se criar um dataset de cada candidato e aplicar a filtragem colaborativa.

Para obter mais dados (se necessário), obter o dataset desenvolvido pelos alunos anteriormente.

Finalizar a análise do artigo

Uma análise do artigo A Recommender System for Political Information Filtering foi iniciada foi em artigos.md, assim que possível deve ser finalizada.

Entregar Relatório Parcial

Escrever e entregar o relatório parcial até o dia 28/02

Analisar os tweets dos ex-candidatos à presidência

Será utilizado a API do Twitter com Python para analisar os tweets dos ex-candidatos à presidência durante o período de eleições. Estes serão analisados e mensurados da mesma forma que as propostas do candidato.

Criar novos repositórios

O repositório politician recommender system foi utilizada para a criação do protótipo.

Será criada dois novos repositórios:

O primeiro será emquemvotar-backend (nome provisório) que será a api do sistema em Flask

O segundo será emquemvotar-frontend (nome provisório) que será a interface do sistema em React

Desmembrar as duas filtragens

Atualmente no protótipo, as duas filtragens estão trabalhando em conjunto. A ideia é utilizá-las separadamente.

Realizar a recomendação utilizando filtragem híbrida

Após desenvolver com sucesso a filtragem colaborativa e a filtragem baseada em conteúdo, agora é necessário juntar as duas em apenas uma única filtragem.

Basicamente será necessário juntar os dois vetores que retornaram e os candidatos que se repetirem, receberão um destaque maior.

Aplicar a Filtragem Colaborativa a partir das avaliações de usuários

Na issue #3 foi desenvolvido o primeiro dataset. Agora será feito outra abordagem.

Em um sistema final, o usuário terá a possibilidade de olhar as propostas de cada candidato à presidência, e colocará uma nota para cada área já citada em #4 e #3 . Assim, no final teremos uma dataset onde as linhas são os usuários (eleitores) e as colunas são os candidatos, com esta abordagem será aplicado a filtragem colaborativa, de forma que seja possível recomendar candidatos à outros usuários com base nas suas similaridades