Coder Social home page Coder Social logo

projeto-transparencia-funcaju's Introduction

ETL e Análise dos Dados do Portal da Transparência da Emurb


Requisitos para o projeto:


Executando o ETL:

No diretório raiz do projeto execute:

  • docker-compose up -d   Isso será suficiente para que seja criado um conteiner com um banco de dados PostgreSQL e um serviço que execute scripts Python.   Os scripts .py que serão executados são responsáveis por fazer a transformação e o carregamento dos dados nas tabelas do banco.  

Fazendo consultas no banco de dados

Caso deseje realizar consultas SQL após o carregamento dos dados, execute:

  • docker exec -it postgres psql -U postgres
  • \c datawarehouse   Isso abrirá uma conexão com o banco de dados e permitirá as consultas.

Para sair do console PostgreSQL, execute:

  • \q

Conectando o Power BI ao banco de dados

Com o Power BI aberto, siga:

  • Obter dados;
  • Pesquise por 'Banco de dados PostgreSQL' e clique para conectar;
  • Servidor: localhost;
  • Banco de dados: datawarehouse;
  • Em 'Modo de Conectividade de Dados' selecione 'Importar Dados';
  • Clique em 'OK'.

Em caso de sucesso na conexão, uma guia do Power BI será aberta solicitando que selecione as tabelas que deseja importar para o arquivo.


Para ver o resultado do trabalho:

Visualizando o dashboard

  • Dashboard.
  • Caso deseje editar o dashboard, baixe o arquivo .pbix e abra com o Power BI Desktop.

projeto-transparencia-funcaju's People

Contributors

eduardojnr avatar

Watchers

Guilherme Florêncio avatar

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.