Projeto criado em conjunto com o curso da plataforma Alura para criar o primeiro pipeline de dados utilizando o airflow.
Neste projeto, aprendemos sobre:
- O que é o Airflow
- Os principais conceitos da arquitetura do airflow
- Criação de DAGs para criar o pipeline
- Utilização do BashOperator, EmptyOperator e o PythonOperator
- Criar a sequência necessária que as tasks irão executar
- Executar o pipeline e validar se está correto
Foi um curso introdutório para compreender a base da ferramenta.