Apache NiFi

Treinamento Apache NiFi

Sobre o Treinamento

Este treinamento Apache Nifi é recomendado a técnicos que já conheçam os conceitos e o básicos de Big Data e queiram ampliar seus conhecimento sobre DataFlow para gigantescos volumes de dados. A distribuição Hadoop da Apache será a utilizada como base deste treinamento, porém do NiFi poder ser instalado em qualquer distribuição (Cloudera, Hortonworks, Clouds, etc) com os mesmos conceitos aplicados.

O NiFi foi projetado para automatiza fluxo de dados entre sistemas de software, integração de dados de diversas origens com diversos tipos de destinos, usando bancos de dados tradicionais e de Big Data como Hadoop (HDFS), Hive, Cassandra e Streamings do Kafka, Apache Spark, entre outras fontes de dados. O Apache NiFi é um projeto de software da Apache Software Foundation e baseado no software "NiagaraFiles" desenvolvido pela NSA.

Calendário de turmas

  1. Ao Vivo Online
  • Data: - -
  • Local:Google Meet Online ao Vivo
  • Inscreva-se
next
prev

Objetivo

Ministrar os conceitos e técnicas de DataFlow com o Apache NiFi.

Público Alvo

O Treinamento Apache NiFi destina-se a profissionais desenvolvedores de ETL, arquitetos de sistemas,  desenvolvedores de sistemas, e engenheiros de dados e equipes de DevOps.

Conteúdo Programático:

Introdução ao Hadoop.

  • Introdução ao Hadoop.
  • Histórico do projeto Apache Hadoop.
  • Características do Hadoop.
  • Conceitos fundamentais.
  • Componentes do núcleo do Hadoop.
  • Ecossistema Hadoop.
  • Exemplos de casos de uso.
  • Principais empresas que usam Hadoop no Mundo.
  • Principais empresas que usam Hadoop no Brasil.

Introdução ao Apache Nifi.

  • O projeto Apache NiFi.
  • Histórico do projeto Apache NiFi.
  • Versões do Apache NiFi.
  • Licenciamento (Free Software X Open Source).
  • Apache Software Foundation.
  • Patrocinadores da Apache Software Foundation.
  • Dados em repouso X dados em movimento.
  • Arquitetura do Apache NiFi.
  • Ecossistema NiFi.
  • Terminologias.
  • Apache NiFi UI.
  • Sqoop X Pentaho Data Integration X NiFi X Talend X Apache Hop.

Instalação e configuração do Apache Nifi.

  • Requisitos de instalação.
  • Instalando o NiFi no modo Standalone.
  • Portas e protocolos de comunicação.
  • Principais propriedades.

DataFlow no Apache NiFi.

  • Conceituando DataFlow.
  • DataFlow Manager (DFM).
  • Processors.
  • Tipos de Processor.
  • Propriedade do Processor.
  • Fila de Dados.
  • Relacionamentos.
  • Conexões.
  • Scheduling.
  • Error Handling.
  • Labels.
  • Conditional Processors.
  • O arquivo flow.xml.gz.

DataFlow Templates.

  • Dataflow Templates.
  • Importando DataFlow templates.
  • Exportando DataFlow templates.

Principais Processor do Apache NiFi.

  • Processor Group.
  • Processor GetFiles.
  • Processor PutFiles.
  • Processor ConvertRecord.
  • Processor PutSQL.
  • Processor QueryDatabaseTableRecord.
  • Processor LogAttribute.
  • Processor AttributesToCSV.
  • Processor AttributesToJSON.
  • Processor GetFTP.
  • Processor GetHDFS.

NiFi Data Provenance.

  • Conceitos do Data Provenance.
  • NiFi FlowFile.
  • Provenance Events.
  • Event Type.
  • File Lineage.
  • Provenance Repository.

Apache NiFi Controller Services.

  • Conceituando Controller Services.
  • Services.
  • Tipos de Controller Services.
  • Grupos de Controller Services.
  • Configurando Controller Services.
  • AvroRecordSetWriter.

NiFi Expression Language.

  • Estrutura do NiFi Expression.
  • Expression Language Editor.
  • NiFi Expression Language Functions.
  • Data Types.
  • Boolean Logic.
  • Manipulação de Textos.
  • Encode/Decode Functions.
  • Searching.
  • Operações matemáticas
  • Manipulação de numéricos.
  • Manipulação de datas.

NiFi RecordPath.

  • Conceito do NiFi RecordPath.
  • Schemas do NiFi RecordPath.
  • Node Access.
  • Filter Predicates.
  • Filter Functions.
  • Conversão de Tipos.
  • Manipulando textos.
  • Formatando datas.
  • Encode/Decode Functions.

DataFlows na prática.

  • Lendo e Convertendo formatos de Arquivos (CSV para JSON).
  • Database Aggregating, Splitting and Transforming.
  • Extração de dados, logs, etc.
  • Trabalhando com dados via FTP e SSH.
  • Trabalhando com dados de Bases de Dados (NoSQL e SQL).
  • Trabalhando com dados do DataLake Hadoop - HDFS.
  • Conexões com Webservices (REST ou SOAP).

Apache NiFi Registry.

  • Conceitual do Nifi Registry.
  • Instalando o Nifi Registry.
  • Integrando NiFi ao NiFi. Registry.
  • Flow Registry.
  • Versionamento do Flow.
  • Controle de Acesso no Nifi Registry.

Administração do NiFi.

  • Autenticações de Usuário.
  • Controle de Políticas de Acesso.
  • Criptografia.

NiFi Rest API.

  • Autenticação.
  • Principais endpoints.
  • Auterando Data Flows por API.
  • Casos de utilização.

Ferramentas e Projetos acessórios.

  • Nifi Toolkit.
  • Apache miniFi e IOT.
  • Reporting Tasks

Apache Zookeeper.

  • Apache Zookeeper.
  • Recursos.
  • Arquitetura.
  • Data Model.
  • Caso de uso.
  • Projetos usando Zookeeper.

Configurando e executando um cluster NiFi.

  • Cluster Integration.
  • Load Balancing/Redundancy.
  • Orquestração em massa de NiFi.
  • Zookeeper embutido no Apache NiFi.
  • Visão geral do Apache NiFi com Docker e Kubernetes.
  • Visão geral de Deploy em ambiente gerenciados de Cloud.

Monitoramento e Recovery.

  • Recuperando sem perda de dados.
  • Recuperação autônoma.

Otimizando o Apache NiFi.

  • Performance e Tunning.
  • Nifi Setup.
  • Práticas de atualização do Nifi em produção.

Desenvolvimento.

  • Componentes, eventos e padrões de processador.
  • Desenvolvendo um processador Apache Nifi personalizado usando JSON.

Melhores Praticas

  • Troubleshooting.
  • Teste e solução de problemas.

Pré-requisitos de conhecimento

  • Conhecimento básico Linux.
  • Conhecimento básico de redes (proxy, gateway,etc).

Requisitos dos alunos

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM: 8 GB.
  • Espaço em Disco: 20GB.
  • Processador: i5 ou i7 a partir da segunda geração ou similar.
  • Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
  • Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

  • 32 Horas de duração.

Modalidades do Treinamento.

  • Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais brasileiras.
  • On Line Ao Vivo - Fazemos a transmissão online/ao vivo do treinamento.
  • In Company (Presencial ou Online) - Turmas fechadas para empresas a custo único para até 15 alunos.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache NiFi e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Próxima Turma

  • Data: - -
  • Local: Google Meet Online ao Vivo
  • Inscreva-se
 

Inscrições, Informações e Valores

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache NiFi, e cursos sobre Apache NiFi. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Diferenciais da Ambiente Livre.

A Ambiente Livre tem 17 anos no mercado, pioneirismo na oferta de consultoria, treinamentos, projetos e suporte em softwares de código-fonte aberto e software livre com um ecossistema voltado a negócios, e pode lhe ajudar a gerir complexidades, reduzir custos, permitindo adaptar e oferecer inovação inteligente necessária para o seu sucesso.

3.535 profissionais capacitados em 325 turmas ministradas.

Atuação global, 807 empresas impactadas em projetos, consultorias e treinamentos no Brasil, América Latina, Europa e África.

Networking entre profissionais, comunidades e startups de tecnologias Open Source e Free Software.

Treinamentos baseados em experiência de projetos e consultorias, 2.230 tutorais documentados, atualizados e disponibilizado de forma vitalícia em EAD.

Empresa 100% focada em Open Source e Free Software e contribuidora com equipe atuante nos projetos e eventos de código aberto e software livre.

Apoio na criação de 4 startups / Spin-off baseadas em soluções Open Source ou Free Software.

Instrutores

Marcio Junior Vieira

 

  • 20 anos de experiência em informática, vivência em desenvolvimento e análise de sistemas de gestão empresarial e ciência de dados.
  • CEO da Ambiente Livre atuando como Cientista de Dados, Engenheiro de Dados e Arquiteto de Software.
  • Professor dos MBAs em Big Data & Data Science, Inteligência Artificial e Business Intelligence da Universidade Positivo.
  • Professor de BPM no MBA de Business Intelligence da Universidade Positivo.
  • Professor do MBA Artificial Intelligence e Machine Learning da FIAP.
  • Professor da Pós-Graduação em Big Data e Data Science da UniBrasil.
  • Pesquisador pela Universidade de Brasília no Laboratório de Tecnologias da Tomada de Decisão - UnB/LATITUDE.
  • Trabalhando com Free Software e Open Source desde 2000 com serviços de consultoria e treinamento.
  • Graduado em Tecnologia em Informática(2004) e pós-graduado em Software Livre(2005) ambos pela UFPR.
  • Palestrante FLOSS em: FISL, The Developes Conference, Latinoware, Campus Party, Pentaho Day, Ticnova, PgDay e FTSL.
  • Organizador Geral: Pentaho Day 2017, 2015, 2019 e apoio nas ed. 2013 e 2014.
  • Data Scientist, instrutor e consultor de Big Data e Data Science com tecnologias abertas.
  • Ajudou a capacitar equipes de Big Data na IBM, Accenture, Tivit, Serpro, Natura, MP, Netshoes, Embraer entre outras.
  • Especialista em implantação e customização de Big Data com Hadoop, Spark, Pentaho, Cassandra e MongoDB.
  • Contribuidor de projetos open sources ou free software internacionais, tais como Pentaho, LimeSurveySuiteCRM e Camunda.
  • Especialista em implantação e customização de ECM com Alfresco e BPM com ActivitiFlowable e Camunda.
  • Certificado (Certified Pentaho Solutions) pela Hitachi Vantara (Pentaho inc).
  • Membro da The Order Of de Bee (Comunidade Alfresco trabalhando para desenvolver o ecossistema Alfresco independente)

 

Tom Mereles

  • Engenheiro de Dados da Ambiente Livre.
  • Graduando no Curso de Computação em Nuvem pela Faculdade Descomplica.
  • Cursando o BootCamp Data Engineer with Python no DataCamp.
  • Especialista em Apache NiFi na Ambiente Livre.
  • Já atou em projetos de web crawler com Seleniun e RabbitMQ.
  • Desenvolvedor em C# .Net, Javascript, Dart e Flutter.
  • Contribuiu em projetos de tecnologia no Grupo Employer, Epays, Lugarh, ETEC e BNE - Banco Nacional de Empregos.
  • Atuou em projetos na área de dados em empresas como Sonda IT, Comfrio inteligência em soluções logísticas e ISH Tecnologia.

Log in