Apache Airflow
Este curso de Apache Airflow foi projetado para ajudar profissionais de dados a dominar a orquestração e automação de fluxos de trabalho complexos. Durante as aulas, você aprenderá a configurar e gerenciar o Airflow com Astronomer, uma plataforma que simplifica a adoção do Airflow em ambientes corporativos. Também abordaremos como subir e configurar o Airflow com Docker, oferecendo flexibilidade para que você escolha a melhor abordagem para seus projetos.
Você aprenderá a construir DAGs (Directed Acyclic Graphs) eficientes, entender as melhores práticas para coordenar pipelines de dados (incluindo processos de extração, transformação e carga - ETL), e explorar funcionalidades avançadas como segurança, monitoramento e otimização de workflows. A abordagem prática do curso garante que você estará preparado para aplicar seus conhecimentos em ambientes de produção, gerenciando pipelines de forma confiável e escalável.
Ideal para engenheiros de dados e cientistas de dados que buscam uma gestão robusta e programável de pipelines, este curso o levará do básico ao avançado, capacitando-o a ter controle total sobre seus fluxos de dados.
Responsável | Marcos Aurelio Wozhiak Junior de Oliveira |
---|---|
Última atualização | 29/11/2024 |
Tempo de conclusão | 1 hora 53 minutos |
Membros | 14 |
-
-
docker-compose.yml
-
01 - Introdução
-
02 - Usando astronomer.io
-
Instalação do Airflow com Astronomer.io
-
03 - Criando nossa primeira DAG
-
04 - Extraindo dados do Wikipédia
-
05 - Usando variáveis no Airflow
-
06 - Controle de Fluxo de Execução com Variáveis
-
07 - Integrando Firebase com Airflow - Parte 01
-
08 - Integrando Firebase com Airflow - Parte 02
-
09 - Integrando Firebase com Airflow - Parte 03
-
10 - Como Construir DAGs Eficientes no Apache Airflow
-