v-amorim / proconectados

Python development challenge, focusing on public brazillian data from Procon for data analysis presentation, issued by Alpha EdTech.

Desafio Engenharia de Dados - Proconectados

Requisitos do desafio

Neste desafio, proposto pelo programa Alpha EdTech, os grupos são criados pelos professores e deverá ser realizado os processos de "coleta", 'limpeza", "análise" e "visualização" de dados da Administração Pública brasileira tendo como requisitos:

• Uso das informações coletadas de um site da administração pública:
  • Uso da biblioteca Pandas;
  • Este processo poderá estático, isto é, a coleta pode ser feita em apenas uma etapa sem a necessidade de processamento dinâmico de informações;
  • A coleta normalmente será realizada processando-se um arquivo do tipo CSV por meio do uso do Pandas;
  • Deve-se realizar um tratamento para remover os dados não relevantes para o fim da aplicação ("limpeza").
  • Links de referências (não se restringindo a apenas estes):
    • https://brasil.io/datasets/
    • https://dados.gov.br/home
• Uso de banco de dados relacional:
  • Uso do Postgres;
  • Mínimo de 5 tabelas;
  • As tabelas principais devem ter no mínimo 10 mil registros cada;
  • Não há a necessidade de uso de Spark, bastando o uso de Pandas;
  • Utilizar comandos SQL para o cruzamento das informações.
• Implementar e detalhar um processamento segmentado em no mínimo 3 zonas:
  • raw (dado cru);
  • curated (dado limpo); e
  • analytics (dado analisado).
• Montagem do data warehouse com as informações das tabelas:
  • Devem utilizar algoritmos que demonstram a habilidade em estrutura de dados e complexidade de algoritmos.
• Visualização dos dados analisados usando Flask;
• Uso da análise estatística dos dados usando Plotly:
  • Uso de estatística básica;
  • Não é necessário o uso de regressões.

Objetivo

O tema escolhido foi o de explorar as informações coletadas do site do ministério da justiça em relação aos atendimentos do Procon, para análise de dados.

Tecnologias

Dependências

• Python
• Pip-tools
• Pandas
• PostgreSQL
• Plotly
• Flask

Referências

• Fonte dos Dados do Procon
• Apresentação do Projeto
• Setup para poder executar
• Repositório Proconectados

Licença

Esse repositório está licenciado pela Mit License. Para mais informações detalhadas, leia o arquivo License contido nesse repositório.

Equipe

Vinicius Amorim 🚀

Geverson Araujo Fernandes 🚀