Treinamento Apache Airflow ^Destaque

O treinamento Apache Airflow prepara profissionais para o mercado para automatizar seu fluxo de trabalho e orquestrar pipelines de dados. O Apache Airflow é uma plataforma de gerenciamento de fluxo de trabalho de código aberto. Tudo começou no Airbnb em outubro de 2014 como uma solução para gerenciar os fluxos de trabalho cada vez mais complexos da empresa. Empresas como Alibaba, Airbnb, Tesla, Square e Spotify tem usado o Apache Airflow em produção e obtendo excelentes resultados.

Calendário de turmas abertas

Objetivo

Ministrar as principais funcionalidades e técnicas do Apache Airflow para a geração transformação de dados.

Público Alvo

Desenvolvedores de ETL, Engenheiro de dados, Analistas de Negócio, Analistas de Business Intelligence, DBAs, desenvolvedores de sistemas, analistas de suporte.

Conteúdo Programático.

Conceitual Apache Airflow.

• Introdução ao Apache Airflow.
• Introdução a ETL e orquestração de dados.
• Introdução a Pipeline de dados.
• Introdução a Ciência de dados.
• A Apache Software Foundation.
• Cases de Uso do Apache Airflow.
• Empresas usando Apache Airflow.
• Pentaho Data Integration X Apache Hop X Apache Airflow.
• DAGs.

Instalação do Apache AirFlow.

• Requisitos para instalação.
• Instalando o Apache Airflow.
• Configurando o Apache Airflow.

Características

• Conhecendo o CLI.
  
• Conexões.
• Instância Remota Airflow.
• Bash/Zsh.
• Exportando DAGs para Imagens.
• Data Profiling.
• Ad Hoc Query.
• Scheduler.
• Executor e Workers.
  
• Web Server - Flask.
  
• DAG Runs.
• Plugins.
• Segurança
• Time zones.
• Airflow.cfg.
• Celety.

Introdução a Linguagem Python

• O que é Python?
• Apresentando Python.
• Instalando Python.
• Escrevendo scripts Python.
• Básico em Python.
• Tipos Básicos Python.
• Definindo Funções.
• IDE para Python.

Tasks e Operator

• BashOperator.
• PythonOperator.
• EmailOperator.
• SimpleHttpOperator.
• PostgresOperator.
• JdbcOperator.
• DockerOperator.
• S3FileTransformOperator.
• Providers.
• Astronomer Registry.

Integrações

• Azure: Microsoft Azure.
  
• AWS: Amazon Web Services.
• Databricks.
• GCP: Google Cloud Platform.

Métricas

• Setup.
• Counters.
• Gauges.
• Timers.

Funcionalidades

• Monitorando o Apache Airflow.
• Customizando o Apache Airflow.
• Lendo dados de Big Data.
• Macros.
• Python API.
• REST API.
• Melhores práticas.

Airflow na Cloud (AWS)

• Multi-Cloud.
• MWAA - Amazon Managed Workflows - AWS
  
• Workers auto-scale.
• Open Airflow UI.
• Console do Amazon MWAA.
• Gravando suas DAGs no S3.
• Executando DAGs.
• Visualização gráfica das DAGs.
• Monitoramento usando CloudWatch.

Carga Horária:

• 24 Horas de duração.

Modalidades do Treinamento:

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-requisitos:

• Conhecimento de comandos e servidores Linux.
• Conhecimento básico em SQL.

Requisitos:

• Todos os participantes devem ter um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para Online ter uma boa conectividade com a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: Dual-core AMD 64, EM64T.
• Sistemas Operacionais: GNU/Linux, Windows, MacOS.
• VirtualBox.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Airflow e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com Treinamentos Apache Airflow e Cursos Apache Airflow. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores.

Instrutor