Apache Kafka para Administradores

Treinamento Apache Kafka para Administradores.

Sobre o Treinamento

O treinamento Apache Kafka  para administradores é voltado para administradores do cluster Kafka que pretende obter alta performance em Kafka. O treinamento tem diversas atividades práticas simulando uma implantação de um cluster Kafka a um ambiente complexo de processamento de dados. com foco na administração e infraestrutura. 

Modalidades do Treinamento:

  • Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
  • On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
  • In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Conteúdo Programático

Conceitual

  • Streaming.
  • Stream X Batch.
  • Eventos.
  • Dados Distribuídos.
  • JBOD(Just a Bunch of Disks).
  • Real-time Stream.
  • CDC – Change Data Capture.
  • Projeto Apache Kafka.
  • História do Apache Kafka.
  • Apache Software Foundation.
  • Kafka x RabbitMQ X Spark Stream X Flink Stream.
  • Licenciamento (Free Software X Open Source).
  • Motivações para usar Streaming.
  • Empresas usando Kafka no mundo.
  • Empresas usando Kafka no Brasil.
  • Versões do Apache Kafka.
  • Confluent Plataform.
  • Comunidade Apache Kafka no Brasil e no Mundo.
  • Livros, sites, documentação e referências.

Instalação do Kafka

  • Planejando requisitos de Hardware.
  • Planejando requisitos de Memória.
  • Planejando requisitos de CPU.
  • Instalando Java/JDK.
  • Configurações da memória Heap do Java.
  • Instalando o rodando o Kafka.
  • Configurações iniciais do Kafka.

Fundamentos do Kafka

  • Kafka Producer.
  • Kafka Consumers.
  • Kafka Brokers.
  • Local Storage.
  • Tempo de retenção.
  • Política de retenção.
  • Poll.
  • Mensagens.
  • Tópicos.
  • Particionamentos.
  • Segmentos.
  • Log.
  • Kafka Data Model.

Arquitetura do Apache Kafka.

  • Kafka Commit Log.
  • Replicação e Alta Disponibilidade.
  • Particionamento e Consumers Group para Escalabilidade.

Schema Registry.

  • Terminologia do Schema Registry.
  • Requisitos do Schema Registry.
  • Instalação do Schema Registry.
  • Configuração do Schema Registry.
  • Executando o Schema Registry em Produção.
  • Transaction Topic.
  • Schema Definition.
  • Client Applications.
  • Java Producers e Consumers com Schema Registry.
  • Gerenciamento do Schema Registry.
  • Compatibilidade de Tipos.
  • Migração d Schemas.
  • Backups e Restores.

Kafka Cluster.

  • Apache Zookeeper.
  • Arquitetura do Apache Zookeeper.
  • Fator de Replicação.
  • Estratégias de Particionamento.
  • Particionamentos customizados.
  • Liderança de Partições.
  • Load Balancing.
  • Testando o Cluster.
  • CLI Tools.
  • Expandindo seu cluster.
  • Incrementando o fator de Replicação.

Monitoramento e Alertas do Clusters Kafka.

  • Melhores práticas.
  • Estratégias de Monitoramento.
  • Monitoramento com JMX.
  • Ferramentas Open Source de Monitoramento.
  • Métricas de monitoramento da JVM.
  • Métricas de monitoramento do SO.
  • Métricas de monitoramento do Kafka.
  • Métricas de monitoramento do Zookeeper.
  • Nível de severidade.
  • Burrow X Cruise Control.

Testes de Desempenho no Cluster Kafka.

  • Ferramentas, estratégias e análises de resultados.
  • Execução de testes de carga.
  • Ações corretivas e de investigação.
  • Avaliação do resultados.

Kafka Cruise Control.

  • Introdução ao Kafka Cruise Control.
  • Cruise Control Frontend.
  • Arquivos de configuração para estratégia JBOD.
  • Entendimento das informações da interface Web
  • Kafka broker resource utilizando tracking.
  • Detecção de Anomalias com self-healing.
  • Execução de otimização.

Tópicos Avançados.

  • Kafka com Docker e Kubernetes.
  • Deploy com arquivo WAR.
  • Scalable Data Pipeline.
  • Log Compactado.
  • Segurança.
  • Autenticação e Autorização.
  • Criptografia.

Carga Horária:

  • 24 Horas.

Pré-Requisitos:

  • Conhecimento Básico em comandos Bash Shell/Linux.
  • Conhecimentos de Redes e Infraestrutura.

Requisitos:

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM: 8 GB.
  • Espaço em Disco: 20 GB.
  • Processador: 4 Cores.
  • Sistemas Operacionais: GNU/Linux, Windows, Mac OS.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Kafka e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kafka e cursos Kafka. Caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Informações e Valores

Powered by BreezingForms



Diferenciais da Ambiente Livre.

A Ambiente Livre tem 19 anos no mercado, pioneirismo na oferta de consultoria, treinamentos, projetos e suporte em softwares de código-fonte aberto e software livre com um ecossistema voltado a negócios, e pode lhe ajudar a gerir complexidades, reduzir custos, permitindo adaptar e oferecer inovação inteligente necessária para o seu sucesso.

3.535 profissionais capacitados em 325 turmas ministradas.

Atuação global, 807 empresas impactadas em projetos, consultorias e treinamentos no Brasil, América Latina, Europa e África.

Networking entre profissionais, comunidades e startups de tecnologias Open Source e Free Software.

Treinamentos baseados em experiência de projetos e consultorias, 2.230 tutorais documentados, atualizados e disponibilizado de forma vitalícia em EAD.

Empresa 100% focada em Open Source e Free Software e contribuidora com equipe atuante nos projetos e eventos de código aberto e software livre.

Apoio na criação de 4 startups / Spin-off baseadas em soluções Open Source ou Free Software.

Instrutor

Marcio Junior Vieira

  • 22 anos de experiência em informática, vivência em desenvolvimento e análise de sistemas de gestão empresarial e ciência de dados.
  • CEO da Ambiente Livre atuando como Cientista de Dados, Engenheiro de Dados e Arquiteto de Software.
  • Professor dos MBAs em Big Data & Data Science, Inteligência Artificial e Business Intelligence da Universidade Positivo.
  • Professor de BPM no MBA de Business Intelligence da Universidade Positivo.
  • Professor do MBA Artificial Intelligence e Machine Learning da FIAP.
  • Pesquisador pela Universidade de Brasília no Laboratório de Tecnologias da Tomada de Decisão - UnB/LATITUDE.
  • Graduado em Tecnologia em Informática(2004) e pós-graduado em Software Livre(2005) ambos pela UFPR.
  • Palestrante FLOSS em: FISL, The Developes Conference, Latinoware, Campus Party, Pentaho Day, Ticnova, PgDay e FTSL.
  • Organizador Geral: Pentaho Day 2017, 2015, 2019 e apoio nas ed. 2013 e 2014.
  • Data Scientist, instrutor e consultor de Big Data e Data Science com tecnologias abertas.
  • Ajudou a capacitar equipes de Big Data na IBM, Accenture, Tivit, Sonda, Serpro, Dataprev, Natura, MP, Netshoes, Embraer entre outras.
  • Especialista em implantação e customização de Big Data com Hadoop, Spark, Pentaho, Cassandra e MongoDB.
  • Contribuidor de projetos open sources ou free software internacionais, tais como Pentaho, Apache Hop, LimeSurveySuiteCRM e Camunda.
  • Especialista em implantação e customização de ECM com Alfresco e BPM com ActivitiFlowable e Camunda.
  • Certificado (Certified Pentaho Solutions) pela Hitachi Vantara (Pentaho inc).
  • Ganhou o prêmio Camunda Champion em 2022 em reconhecimento a suas contribuições com o projeto Open Source Camunda.
  • Membro da The Order Of de Bee (Comunidade Alfresco trabalhando para desenvolver o ecossistema Alfresco independente)

Últimos posts de Marcio Junior Vieira

Log in