- Links e Dicas Úteis
- Skills
- Artigos para ler
- Livros para ler
- Cursos para fazer
- Contribuição
- Meu Resultado
Primeiro de tudo é importante se entender o que um engenheiro de dados faz, onde ele se encaixa no mercado e quais necessidades ele supre. Portanto eu recomendo os seguintes conteúdos antes de qualquer interação com o restante:
O que é um engenheiro de dados
Pode-se usar a guia anônima para ler os artigos que pedem premium no medium (quando o link acima não funcionar). Infelizmente não existem tantos conteúdos em português sobre isso ainda, portanto é possível utilizar o chrome e a ferramente de tradução do google para ler os artigos caso você não entenda inglês. Para os vídeos pode-se usar a ferramenta de legendas geradas.
É importante tentar criar projetinhos para aplicar o que você está estudando, pois acredite: existe um abismo entre a teoria e a prática, principalmente se tratando de dados :) Aproveite para exercitar sua capacidade de lidar com vários cenários de erro e criar ações para contorná-los.
O básico para uso geral:
Habilidades mais específicas:
Grupo | Skills | Links |
---|---|---|
Conceitos | OLTP e OLAP Business Inteligence Data Modeling Data Warehouse Data Lake Data Mesh ETL e ELT |
OLTP e OLAP Business Inteligence Data Modeling Data Warehouse Data Lake Data Mesh ETL e ELT |
Linguagens de Programação | Python R Scala |
Python R Scala |
Banco de Dados | RDBMS NoSQL Databases |
RDBMS RDBMS - Postgres RDBMS - MySQL NoSQL Databases NoSQL Datbases - MongoDB NoSQL Databases - Hadoop |
Pipelines/ELT/ETL | Orquestradores Processamento de dados |
Orquestrador - Airflow Orquestrador - Prefect Processamento: Batch vs Stream Processamento Bacth - Exemplo Processamento Stream - Exemplo |
Cloud | AWS Azure GCP |
AWS - Fundamentos AWS - S3 AWS - RDS AWS - Athena AWS - ECR/ECS AWS - Lambda AWS - StepFunction AWS - IAM AWS - EC2 AWS - EMR |
- 🔥 A Beginner’s Guide to Data Engineering — Part I
- 🔥 Data Engineering 101: From Batch Processing to Streaming
- 🔥 Implementing a Data Lake or Data Warehouse Architecture for Business Intelligence?
- 🔥 DataOps is NOT Just DevOps for Data
- 🔥 Data Warehousing: Basics of Relational Vs Star Schema Data Modeling
- 🔥 Spark 101: Introdução ao framework de processamento de dados distribuídos
- The Data Warehouse Toolkit: The Definitive Guide to Dimensional Modeling
- Como Mentir com Estatística
- Data Architecture: A Primer for the Data Scientist: Big Data, Data Warehouse and Data Vault
Alguns dos cursos que avaliei como benéficos para gastar meu $$$
- Formação Engenheiro de Dados: Domine Big Data!
- Big Data - Processamento de dados com Spark e PySpark
- GCP: Complete Google Data Engineer and Cloud Architect Guide
- HashiCorp Certified: Terraform Associate 2020
Eventualmente, conforme eu for aprendendo e aplicando tudo que reuni aqui pretendo listar todos os repositórios e conteúdo que eu gerar a partir disso.