Hadoop Fundamental

Treinamento Apache Hadoop - Big Data Open Source - Fundamental

 

Sobre o Treinamento

O treinamento fundamental em Apache Hadoop prepara profissionais para o mercado de trabalho com Hadoop. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções de Big Data em suas corporações. O mesmo abrange, conceitos , conhecimentos de uso dos softwares, interação programática e atividades práticas.


Calendário de turmas abertas

  1. Curitiba
  • Data: - -
  • Local: Sede da Ambiente Livre
  • Contato
next
prev

Conteúdo Programático

Conceitual Big Data

  • O que é Big Data?
  • Os 4 V's principais do Big Data.
  • O Profissional Cientista de Dados / Data Scientist.
  • Data Lake.
  • IoT - Internet das Coisa e Big Data.
  • Ferramentas de Big Data.
  • Software Livre X Open Source.
  • GPL X BSD/Apache.

Conceitual Apache Hadoop

  • Visão geral sobre Hadoop
  • Características do Hadoop
  • Sistema distribuído de arquivos.
  • Ecossistema Hadoop
  • Quem usa o Hadoop
  • Cases do uso Hadoop
  • Uso de Hadware comum.
  • Distribuições do Hadoop

Instalação do Apache Hadoop

  • Requisitos de Instalação
  • Adquirindo os pacotes de Instalação
  • Modo de Instalação ( SingleCluster, Distribuid Mode )
  • Configuração do Ambiente de Rede
  • Configurando Yarn.
  • Criando diretórios físicos para o Filesystem
  • Formatação do FileSystem
  • Inicializando Serviços
  • Iniciando o cluster com seus nós
  • Testando Processos ativos

HDFS

  • Conceitual HDFS.
  • HDFS - Hadoop FileSystem.
  • HDFS - MapReduce Data Flow.
  • HDFS - Arquitetura.
  • Comandos de manipulação do FileSystem.
  • Copiando arquivos para o FileSystem.
  • Listando arquivos no HDFS.
  • Criando e Removendo Diretórios.
  • Interface Web do HDFS.

MapReduce

  • Conceitual Map Reduce.
  • MapReduce X Hadoop.
  • MapReduce - Função Map.
  • MapReduce - Função Reduce.
  • Fluxo de Trabalho.
  • Executando um MapReduce.
  • MapReduce no cluster.
  • Configurando a IDE Eclipse para MapReduce.
  • Criando um novo MapReduce.

CDH - Cloudera Hadoop

  • Usando a Distribuição Cloudera.
  • Componentes do CDH.
  • Cloudera Hadoop X Apache Hadoop.
  • Interface de gerenciamento Web (HUE).

Introdução a outras ferramentas de trabalho

  • Hortonworks.
  • Apache Mahout.
  • Hbase - Banco de dados distribuído orientado a coluna.
  • Pig - Plataforma de alto nível para a criação de programas MapReduce.
  • Hive - uma infraestrutura de data warehouse sobre o Hadoop.
  • Apache Cassandra - Banco de dados distribuído altamente escalável.
  • Apache Sqoop.
  • Pentaho Data Integration e Hadoop.

 

Carga Horária:

  • 24 Horas.

 

Pré-Requisitos:

  • Conhecimento básico em programação Java.
  • Noções de Big Data.
  • Conhecimento de banco de dados e SQL
  • Conhecimento básico de Linux

 

Próxima turma prevista, veja também acima no calendário outras cidades.

  • Data: - -
  • Local: Sede da Ambiente Livre
  • Contato
 

Instrutor

Leia mais...

Treinamento Apache HBase - Fundamental

Sobre o Treinamento

Este treinamento é recomendado a técnicos que já conheçam os conceitos e o básicos do Hadoop e queiram ampliar seus conhecimento sobre o Hadoop Database ou HBase que é um banco de dados do ecossistema Hadoop distribuído e colunar. O treinamento pode ser ministrado nas versão open source da Apache ou nas comerciais Cloudera e Hortonworks.

Calendário de turmas abertas

Treinamento somente no formato in-company.

Objetivo

Ministrar os conceitos e técnicas de administração do banco de dados Hbase.

Público Alvo

O Treinamento Hbase destina-se a profissionais analistas de BI, DBAs, Gestores de TI, desenvolvedores de sistemas, Cientistas de dados e Engenheiros de dados.

Conteúdo Programático:

Introdução ao Hadoop

  • Introdução ao Hadoop.
  • Histórico do projeto Apache Hadoop.
  • Características do Hadoop.
  • Conceitos fundamentais.
  • Componentes do núcleo do Hadoop.
  • Ecossistema Hadoop.
  • Exemplos de casos de uso.
  • Principais empresas que usam Hadoop no Mundo.
  • Principais empresas que usam Hadoop no Brasil.
  • Apache Software Foundation.

Fundamentos do HBase

  • Introdução a NoSQL.
  • Introdução a Bancos de Dados Colunares.
  • Histórico do HBase.
  • Características do HBase.
  • HBase e RDBMS.
  • SQL X NoSQL.
  • Arquitetura do HBase.
  • HBase Shell.
  • HBase DDL e DML.
  • Table, RowKey, Family, Column e Timestamp.
  • Hbase Regions.
  • Data Storage.
  • Zookepper.
  • Criando e Manipulando um Banco de Dados HBase.
  • HBase Schema.
  • HBase Data Model.
  • HBase schemas.
  • Hbase timestamp.
  • HBase cell.
  • HBase Familias.
  • Armazenamento de dados eficiente e recuperação
  • Melhores práticas para desempenho
  • Comandos de manipulação

HBase Shell

  • Criando tabelas com HBase Shell.
  • Trabalhando com tabelas.
  • Trabalhando com dados da tabela.

HBase API.

  • Opções para acessar os dados do HBase.
  • Criando e deletando tabelas no HBase.
  • Get e Scan.
  • Inserindo e atualizando dados.
  • Excluindo dados.
  • Filtros scan.
  • Melhores práticas.
  • HBase e Java
  • Conectando ao HBase com Java
  • Java API.

HBase no cluster

  • O uso do HDFS.
  • Compactações e splits.
  • Mapreduce e Cluster HBase.
  • Instalação do HBase.
  • Configurar um cluster HBase.
  • Administrar um cluster HBase.
  • HBase daemons.

HBase Cluster

  • Family.
  • Schema.
  • Caching.
  • Times Series.
  • Sequencial.
  • Pre-Splitting Regions.

HBase Avançado

  • Replicação no HBase.
  • HBase backup.
  • Segurança no HBase.
  • Serviços HBase.
  • Corrigindo tabelas com Hbck.
  • Hive e Impala com Hbase.
  • Thrift.
  • Outras Bibliotecas de acesso.
  • HBase Rest Server.
  • Backup

Pré-requisitos de Conhecimento

  • Conhecimento básico banco de dados.
  • Conhecimento em SQL ANSI.

Requisitos dos Alunos

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM: 8GB (Caso queira o treinamento em Hortonworks deve ter 16GB de RAM)
  • Espaço em Disco: 20GB.
  • Processador: i5 ou i7 a partir da segunda geração ou similar.
  • Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
  • Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

  • 32 Horas de Duração.
  • 100% Presencial

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache HBase e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

 

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

 

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos HBase, e cursos sobre HBase. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Instrutor

Leia mais...

Treinamento Administrador Apache Hadoop

Sobre o Treinamento

Este treinamento é recomendado a técnicos que já conheçam os conceitos e o básicos do Hadoop e queiram ampliar seus conhecimento sobre o Hadoop Database ou HBase que é um banco de dados do ecossistema Hadoop distribuído e colunar. O treinamento pode ser ministrado nas versão open source da Apache ou nas comerciais Cloudera e Hortonworks.

Calendário de turmas

Treinamento somente no formato in-company.

Objetivo

Ministrar os conceitos e técnicas de administração de um cluster Hadoop.

Público Alvo

O Treinamento Administrador Hadoop destina-se a profissionais Administradores de sistemas, Cientistas de dados e Engenheiros de dados.

Conteúdo Programático:

Introdução ao Hadoop

  • Introdução ao Hadoop.
  • Histórico do projeto Apache Hadoop.
  • Características do Hadoop.
  • Conceitos fundamentais.
  • Componentes do núcleo do Hadoop.
  • Ecossistema Hadoop.
  • Exemplos de casos de uso.
  • Principais empresas que usam Hadoop no Mundo.
  • Principais empresas que usam Hadoop no Brasil.
  • Apache Software Foundation.

HDFS – Hadoop File System.

  • Arquitetura do HDFS.
  • Características do HDFS.
  • Escrevendo e lendo arquivos.
  • Considerações ao NameNode.
  • Segurança no HDFS.
  • Usando Interface Web do NameNode.
  • Usando o Shell Hadoop.
  • Inserindo dados de fontes externas com flume.
  • Inserindo dados de banco de dados relacionais com Sqoop.
  • Interfaces REST.
  • Melhores praticas de Importação de dados.

YARN e MapReduce.

  • Conceitual sobre YARN e MapReduce.
  • Conceitos Básicos de MapReduce.
  • Cluster YARN.
  • Recuperação de falha.
  • Usando Interface Web YARN.

Planejando o Cluster Hadoop.

  • Considerações gerais.
  • Seleção de Hardware.
  • Considerações de Rede.
  • Configuração de Nodes.
  • Planejando o gerenciamento do Cluster.

Instalação e configurações Hadoop.

  • Requisitos de instalação.
  • Pacotes de instalação.
  • Modo de Instalação (SingleCluster, DistribuidMode).
  • Configuração do ambiente de rede.
  • Clusterizando o Hadoop.
  • Configuração inicial de Performance do HDFS.
  • Configuração inicial de Performance do YARN.
  • Logs no Hadoop.

Instalação e Configurando o Ecossistema.

  • Instalando o Apache Hive.
  • Instalando Impala (Somente em Cloudera).
  • Instalando Apache Pig.
  • Instalando Apache HBase.
  • Instalando Apache Spark.

Aplicações Clientes Hadoop.

  • Introdução a aplicações Clientes Hadoop.
  • Introdução ao HUE.
  • Instalação e Configuração do Hue.
  • Instalando e Configurando HUE.
  • HUE autenticação e autorização

Segurança Hadoop.

  • Conceitos de Segurança no Hadoop.
  • Introdução ao Kerberos.
  • Segurança no Cluster Hadoop com Kerberos.

Gerenciando com Hadoop Ambari (Apache e Hortonworks).

  • Introdução ao Ambari.
  • Características do Ambari.
  • Gerenciando um Cluster Hadoop.
  • Monitorando um Cluster Hadoop.

Gerenciando com Cloudera Manager (Somente Cloudera).

  • Introdução ao Cloudera Manager.
  • Características do Cloudera Managament.
  • Gerenciando um Cluster Hadoop.
  • Monitorando um Cluster Hadoop.

Hadoop Cluster.

  • Parâmetros de Configuração.
  • Configurando as Portas do Hadoop.
  • Configurando o HDFS para alta disponibilidade.

Gerenciando e Agendando Jobs.

  • Gerenciando e Rodando Jobs.
  • Agendando Jobs Hadoop.
  • Impala Query Schedule.

Manutenção do Cluster.

  • HDFS Status.
  • Copiando dados entre Clusters.
  • Balanceamento de Clusters.
  • Tunning
  • Atualização do Cluster

Pré-requisitos de Conhecimento

  • Conhecimento básico Linux.
  • Conhecimento básico de redes (proxy, gateway,etc)

Requisitos dos Alunos

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM: 12GB (Caso queira o treinamento em Hortonworks deve ter 16GB de RAM)
  • Espaço em Disco: 20GB.
  • Processador: i5 ou i7 a partir da segunda geração ou similar.
  • Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
  • Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

  • 32 Horas de Duração.
  • 100% Presencial

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Hadoop e acessórios na sua última versão estável (no caso de Cloudera os alunos devem baixar o Cloudera QuickStart VMs).
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

 

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

 

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Administrador Hadoop, e cursos sobre Administrador Hadoop. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Instrutor

Leia mais...

Log in