Apache Kafka

Treinamento Apache Kafka - Fundamental

Sobre o Treinamento

O treinamento fundamental Apache Kakfa é voltado para Administradores, desenvolvedores, arquitetos de software e engenheiros de dados que pretendem conhecer o processo de implementação de um streaming de dados distribuído. O treinamento tem diversas atividades práticas simulando uma implantação e integração do Kafka a um ambiente complexo de processamento de dados. Contempla itens voltados a administração, infraestrutura e desenvolvimento. 

Calendário de turmas abertas

Somente turmas fechadas.

Modalidades do Treinamento:

  • Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
  • On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
  • In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Conteúdo Programático

Conceitual

  • Streaming.
  • Stream X Batch.
  • Eventos.
  • Dados distribuídos.
  • Real-time Stream.
  • Projeto Apacke Kafka.
  • Apache Software Foundation.
  • Kafka x RabbitMQ X Spark Stream X Flink Stream.
  • Licenciamento (Free Software X Open Source).
  • Motivações para usar Streaming.
  • Empresas usando Kafka no mundo.
  • Empresas usando Kafka no Brasil.
  • Versões do Apache Kafka.
  • Confluent Plataform.
  • Comunidade Apache Kafka no Brasil e no Mundo.
  • Livros, sites, documentação e referências complementares.

Instalação do Kafka

  • Pré-requisitos
  • Instalando Java/JDK.
  • Instalando o rodando o Kafka.
  • Configurações iniciais do Kafka.

Fundamentos do Kafka

  • Producer.
  • Kafka Brokers.
  • Local Storage.
  • Tempo de retenção.
  • Política de retenção.
  • Poll.
  • Kafka Consumers.
  • Mensagens.
  • Tópicos.
  • Particionamentos.
  • Segmentos.
  • Log.

Kafka Data Model.

  • Registro.
  • Headers.
  • Chave.
  • Hash.
  • Valor.
  • Timestamp.
  • Tipos de Dados.
  • Serialização de dados.
  • Avro, JSON.
  • Meta Data (Schema).

Arquitetura do Apache Kafka.

  • Kafka Commit Log.
  • Replicação e Alta Disponibilidade.
  • Particionamento e Consumers Group para Escalabilidade.

Kafka Producers

  • Producers Designer.
  • Desenvolvendo Produces em Java.
  • Configurações.
  • Criando Producers.
  • Enviando Dados.
  • Desenvolvendo Produces em Python.
  • Producers via REST.
  • Producers via linha de Comando.
  • Produce Cache.

Kafka Consumers.

  • Desenvolvendo Comsumers em Java.
  • consumer.properties.
  • Consumer Pull.
  • Consumer Offset.
  • Consumer Group.
  • Leader e Follower.
  • Consumers Rebalances.

Integrando o Kafka com suas Aplicações.

  • REST Proxy.
  • Schema Registry.
  • Kafka Connect.
  •  KStreams X KTables.
  • Kafka Connect API.
  • Kafka Pipeline.
  • Kafka Stream.
  • Criando Streams.
  • Criando Tabelas.
  • Kafka Stream API.
  • Kafka Streams Data Types.
  • Kafka Streams DSL - Stateless Operations.
  • Kafka Streams DSL - Aggregation.
  • Kafka Streams DSL - Windowed aggregation.
  • Kafka Streams DSL - Join.
  • Kafka Streams DSL- Summary.
  • Filter, Map, Join, Aggregate.
  • Subscribe, Poll, Send, Flush.
  • ksqlDB.
  • Kafka SQL.
  • KSQL interagindo com Apache Kafka.
  • Microserviços.
  • Continuos Querys.
  • Continuos Transformations.
  • Kafka e Pentaho Data Integration.
  • Importação e Exportação de Dados no Kafka.
  • Source e Sinks.
  • Kafka Java Application.
  • Kafka Hadoop Consumer API.

Kafka Cluster

  • Zookeeper.
  • Fator de Replicação.
  • Estratégias de Particionamento.
  • Particionamentos customizados.
  • Liderança de Partições.
  • Load Balancing.
  • Testando o Cluster.
  • CLI Tools.
  • Expandindo seu cluster.
  • Incrementando o fator de Replicação.

Tópicos Avançados.

  • Kafka com Docker e Kubernetes.
  • Deploy com arquivo WAR.
  • Scalable Data Pipeline.
  • Log Compactado.
  • Segurança.
  • Autenticação e Autorização.
  • Criptografia.
  • Monitoramento com JMX.

Carga Horária:

  • 32 Horas.

Pré-Requisitos:

  • Conhecimento Básico em comandos Linux
  • Conhecimento básico de Java.
  • Conhecimento em Java IDE (Eclipse, IntelliJ, NetBeans).

Requisitos:

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM : 8 GB
  • Espaço em Disco: 20 GB
  • Processador: 4 Cores.
  • Sistemas Operacionais : GNU/Linux, Windows, Mac OS.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Kafka e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kafka e cursos Kafka. Caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Informações e Valores

Powered by BreezingForms

Instrutor

Marcio Junior Vieira

  • 20 anos de experiência em informática, vivência em desenvolvimento e análise de sistemas de gestão empresarial e ciência de dados.
  • CEO da Ambiente Livre atuando como Cientista de Dados, Engenheiro de Dados e Arquiteto de Software.
  • Professor dos MBAs em Big Data & Data Science, Inteligência Artificial e Business Intelligence da Universidade Positivo.
  • Professor de BPM no MBA de Business Intelligence da Universidade Positivo.
  • Professor do MBA Artificial Intelligence e Machine Learning da FIAP.
  • Professor da Pós-Graduação em Big Data e Data Science da UniBrasil.
  • Pesquisador pela Universidade de Brasília no Laboratório de Tecnologias da Tomada de Decisão - UnB/LATITUDE.
  • Trabalhando com Free Software e Open Source desde 2000 com serviços de consultoria e treinamento.
  • Graduado em Tecnologia em Informática(2004) e pós-graduado em Software Livre(2005) ambos pela UFPR.
  • Palestrante FLOSS em: FISL, The Developes Conference, Latinoware, Campus Party, Pentaho Day, Ticnova, PgDay e FTSL.
  • Organizador Geral: Pentaho Day 2017, 2015, 2019 e apoio nas ed. 2013 e 2014.
  • Data Scientist, instrutor e consultor de Big Data e Data Science com tecnologias abertas.
  • Ajudou a capacitar equipes de Big Data na IBM, Accenture, Tivit, Serpro, Natura, MP, Netshoes, Embraer entre outras.
  • Especialista em implantação e customização de Big Data com Hadoop, Spark, Pentaho, Cassandra e MongoDB.
  • Contribuidor de projetos open sources ou free software internacionais, tais como Pentaho, LimeSurveySuiteCRM e Camunda.
  • Especialista em implantação e customização de ECM com Alfresco e BPM com ActivitiFlowable e Camunda.
  • Certificado (Certified Pentaho Solutions) pela Hitachi Vantara (Pentaho inc).
  • Membro da The Order Of de Bee (Comunidade Alfresco trabalhando para desenvolver o ecossistema Alfresco independente)