COMUNICADO - COVID-19: Atendimento normal - Clique e saiba mais...

Apache HTTP

Treinamento Apache Spark com Python para Desenvolvedores

Sobre o Treinamento - Curso

O curso ou treinamento Apache Spark com Python para desenvolvedores foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Spark, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Python e o Framework de código aberto Apache Spark. Entender os principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Spark com acesso a HDFS, Hive, HBase e interações com outros projetos do ecossistema Hadoop necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.


Turmas Somente inCompany

 

Conteúdo Programático

Conceitual Big Data e Spark

  • Visão geral sobre Hadoop.
  • Características do Hadoop.
  • Sistema distribuído de arquivos.
  • Ecossistema Hadoop.
  • Quem usa o Hadoop.
  • Cases do uso Hadoop.
  • Uso de Hadware comum.
  • Distribuições do Hadoop (Cloudera X Hortonworks X Apache).
  • Free Software(GLP) X Open Source(BSD e Apache)

Introdução a Linguagem Python

  • O que é Python?
  • Apresentando Python.
  • Instalando Python.
  • Escrevendo scripts Python
  • Basico em Python.
  • Tipos Básicos Python.
  • Definindo Funções.
  • IDE para Python.

Programando em Python e Jython

  • Declaração método.
  • Literais.
  • Listas.
  • Tuplas.
  • Opções.
  • Maps.
  • Palavras reservadas.
  • Operadores.
  • Regras de precedência.
  • If, While Loops, Do-While Loops.
  • Operadores condicionais.
  • Pattern Matching.
  • Enumerações.

Programação Funcional em Python

  • O que é programação funcional?
  • Literais funcionais e Closures.
  • Recursão.
  • Tail Calls.
  • Estruturas de Dados Funcionais.
  • Parâmetros das Funções implícitas.
  • Chamada por nome.
  • Chamada por Valor.

Instalação do Apache Spark

  • Instalando o Spark.
  • Modos do Spark.
  • Standalone Cluster.

Primeiros passos em Apache Spark

  • Invocando Spark Shell.
  • Criando o Contexto Spark.
  • Carregando um arquivo no Shell.
  • Realizando algumas operações básicas em arquivos em Spark Shell.
  • Construindo um Projeto com sbt.
  • Executando o Projecto Spark com sbt.
  • Caching Overview, Persistência Distribuído.
  • Spark  Streaming Overview.
  • Exemplo: Streaming Word Count.

RDD - Resilient Distributed Dataset

  • Transformações no RDD.
  • Ações em RDD.
  • Carregando dados em RDD.
  • Salvando dados através RDD.
  • Key-Value Pair RDD.
  • MapReduce e Operações RDD Pair.
  • Integração Python e Hadoop.
  • Arquivos de seqüência.
  • Usando Partitioner e seu impacto na melhoria do desempenho.

Formatos de Armazenamento

  • Trabalhando arquivos CSV com Spark.
  • Trabalhando arquivos JSON com Spark.
  • Trabalhando arquivos XML com Spark.
  • Parsing XML com Spark RDD.
  • Introdução ao Apache Kudu.
  • Trabalhando com arquivos Kudu.
  • Introdução ao Apache ORC.
  • Trabalhando com arquivos ORC.
  • Introdução ao Apache Parquet.
  • Trabalhando com arquivos Parquet.

Apache Spark com SQL e Hadoop Hive

  • Arquitetura Analyze Hive.
  • Arquitetura Spark SQL.
  • Analyze Spark SQL.
  • Context em Spark SQL.
  • Integrando Hive e Spark SQL.

Apache Spark com HBase

  • Arquitetura HBase.
  • Integrando Hive com HBase.
  • Spark-HBase Connector.
  • HBase com Spark Dataframe.
  • Integrando HBase e Spark SQL.
  • Lendo tabelas HBase com Spark.
  • Gravando em tabelas HBase com Spark.

Apache Spark e Pentaho

Carga Horária:

  • 32 Horas.

Pré-requisitos dos Participantes:

  • Conhecimento em Programação Java ou alguma linguagem com Orientação Objeto.
  • Noções de Big Data.
  • Conhecimento de Banco de Dados e SQL.
  • Conhecimento Básico de Linux.
  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

  • Memória RAM : 8GB.
  • Espaço em Disco: 10GB.
  • Processador: Dual-core AMD 64, EM64T
  • deve estar ativo a Virtualização na BIOS do equipamento.
  • Sistemas Operacionais:Qualquer um com suporte e Virtualização com VirtualBox.
  • Oracle VM VirtualBox ( https://www.virtualbox.org/ ).
  • Obs. Equipamentos com menos que 8GB de Memória RAM ( Entre 5GB e 8GB) podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento. Equipamentos com 4GB ou inferior não funcionarão para o treinamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Spark e Python e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações ( slides do treinamento ) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

 

 

Instrutor

Leia mais...

Treinamento Apache Spark com Scala para Desenvolvedores

Sobre o Treinamento - Curso

O curso ou treinamento Apache Spark para desenvolvedores foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Spark, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Scala e o Framework de código aberto Apache Spark. Entender os principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Spark com acesso a HDFS, Hive, HBase e interações com outros projetos do ecossistema Hadoop necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.


Turmas Somente inCompany

 

Conteúdo Programático

Conceitual Big Data e Spark

  • Visão geral sobre Hadoop.
  • Características do Hadoop.
  • Sistema distribuído de arquivos.
  • Ecossistema Hadoop.
  • Quem usa o Hadoop.
  • Cases do uso Hadoop.
  • Uso de Hadware comum.
  • Distribuições do Hadoop (Cloudera X Hortonworks X Apache).
  • Free Software(GLP) X Open Source(BSD e Apache)

Introdução a Linguagem Scala

  • O que é Scala?
  • Apresentando Scala.
  • Instalando Scala.
  • Journey - Java para Scala
  • First Dive -  Interactive Scala.
  • Escrevendo scripts Scala - Compilando Programas Scala.
  • Basico em Scala.
  • Tipos Básicos Scala.
  • Definindo Funções.
  • IDE para Scala.
  • Scala Community.

Essencial em Scala

  • Imutabilidade em Scala - Semicolons.
  • Declaração método.
  • Literais.
  • Listas.
  • Tuplas.
  • Opções.
  • Maps.
  • Palavras reservadas.
  • Operadores.
  • Regras de precedência.
  • If Statements.
  • Scala Para Compreensão.
  • While Loops, Do-While Loops.
  • Operadores condicionais.
  • Pattern Matching.
  • Enumerações.

Traits e OOPs em Scala

  • Traits Intro - Traits as Mixins.
  • Stackable Traits.
  • Criando Traits e OOPS - Classes and Objetos Básicos.
  • Construtores Scala.
  • Nested Classes.
  • Visibility Rules.

Programação Funcional em Scala

  • O que é programação funcional?
  • Literais funcionais e Closures.
  • Recursão.
  • Tail Calls.
  • Estruturas de Dados Funcionais.
  • Parâmetros das Funções implícitas.
  • Chamada por nome.
  • Chamada por Valor.

Instalação do Apache Spark

  • Instalando o Spark.
  • Modos do Spark.
  • Standalone Cluster.

Primeiros passos em Apache Spark

  • Invocando Spark Shell.
  • Criando o Contexto Spark.
  • Carregando um arquivo no Shell.
  • Realizando algumas operações básicas em arquivos em Spark Shell.
  • Construindo um Projeto com sbt.
  • Executando o Projecto Spark com sbt.
  • Caching Overview, Persistência Distribuído.
  • Spark  Streaming Overview.
  • Exemplo: Streaming Word Count.

RDD - Resilient Distributed Dataset

  • Transformações no RDD.
  • Ações em RDD.
  • Carregando dados em RDD.
  • Salvando dados através RDD.
  • Key-Value Pair RDD.
  • MapReduce e Operações RDD Pair.
  • Integração Scala e Hadoop.
  • Arquivos de seqüência.
  • Usando Partitioner e seu impacto na melhoria do desempenho.

Formatos de Armazenamento

  • Trabalhando arquivos CSV com Spark.
  • Trabalhando arquivos JSON com Spark.
  • Trabalhando arquivos XML com Spark.
  • Parsing XML com Spark RDD.
  • Introdução ao Apache Kudu.
  • Trabalhando com arquivos Kudu.
  • Introdução ao Apache ORC.
  • Trabalhando com arquivos ORC.
  • Introdução ao Apache Parquet.
  • Trabalhando com arquivos Parquet.

Apache Spark com SQL e Hadoop Hive

  • Arquitetura Analyze Hive.
  • Arquitetura Spark SQL.
  • Analyze Spark SQL.
  • Context em Spark SQL.
  • Integrando Hive e Spark SQL.

Apache Spark com HBase

  • Arquitetura HBase.
  • Integrando Hive com HBase.
  • Spark-HBase Connector.
  • HBase com Spark Dataframe.
  • Integrando HBase e Spark SQL.
  • Lendo tabelas HBase com Spark.
  • Gravando em tabelas HBase com Spark.

Apache Spark e Pentaho

Carga Horária:

  • 32 Horas.

Pré-requisitos dos Participantes:

  • Conhecimento em Programação Java ou alguma linguagem com Orientação Objeto.
  • Noções de Big Data.
  • Conhecimento de Banco de Dados e SQL.
  • Conhecimento Básico de Linux.
  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

  • Memória RAM : 8GB.
  • Espaço em Disco: 10GB.
  • Processador: Dual-core AMD 64, EM64T
  • deve estar ativo a Virtualização na BIOS do equipamento.
  • Sistemas Operacionais:Qualquer um com suporte e Virtualização com VirtualBox.
  • Oracle VM VirtualBox ( https://www.virtualbox.org/ ).
  • Obs. Equipamentos com menos que 8GB de Memória RAM ( Entre 5GB e 8GB) podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento. Equipamentos com 4GB ou inferior não funcionarão para o treinamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Spark e Scala e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações ( slides do treinamento ) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

 

 

Instrutor

Leia mais...

Treinamento Apache Hadoop - Big Data Open Source - Fundamental

 

Sobre o Treinamento

O treinamento fundamental em Apache Hadoop prepara profissionais para o mercado de trabalho com Hadoop. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções de Big Data em suas corporações. O mesmo abrange, conceitos , conhecimentos de uso dos softwares, interação programática e atividades práticas.


Calendário de turmas abertas

  1. Curitiba
  • Data: - -
  • Local: Sede da Ambiente Livre
  • Contato
next
prev

Conteúdo Programático

Conceitual Big Data

  • O que é Big Data?
  • Os 4 V's principais do Big Data.
  • O Profissional Cientista de Dados / Data Scientist.
  • Data Lake.
  • IoT - Internet das Coisa e Big Data.
  • Ferramentas de Big Data.
  • Software Livre X Open Source.
  • GPL X BSD/Apache.

Conceitual Apache Hadoop

  • Visão geral sobre Hadoop
  • Características do Hadoop
  • Sistema distribuído de arquivos.
  • Ecossistema Hadoop
  • Quem usa o Hadoop
  • Cases do uso Hadoop
  • Uso de Hadware comum.
  • Distribuições do Hadoop

Instalação do Apache Hadoop

  • Requisitos de Instalação
  • Adquirindo os pacotes de Instalação
  • Modo de Instalação ( SingleCluster, Distribuid Mode )
  • Configuração do Ambiente de Rede
  • Configurando Yarn.
  • Criando diretórios físicos para o Filesystem
  • Formatação do FileSystem
  • Inicializando Serviços
  • Iniciando o cluster com seus nós
  • Testando Processos ativos

HDFS

  • Conceitual HDFS.
  • HDFS - Hadoop FileSystem.
  • HDFS - MapReduce Data Flow.
  • HDFS - Arquitetura.
  • Comandos de manipulação do FileSystem.
  • Copiando arquivos para o FileSystem.
  • Listando arquivos no HDFS.
  • Criando e Removendo Diretórios.
  • Interface Web do HDFS.

MapReduce

  • Conceitual Map Reduce.
  • MapReduce X Hadoop.
  • MapReduce - Função Map.
  • MapReduce - Função Reduce.
  • Fluxo de Trabalho.
  • Executando um MapReduce.
  • MapReduce no cluster.
  • Configurando a IDE Eclipse para MapReduce.
  • Criando um novo MapReduce.

CDH - Cloudera Hadoop

  • Usando a Distribuição Cloudera.
  • Componentes do CDH.
  • Cloudera Hadoop X Apache Hadoop.
  • Interface de gerenciamento Web (HUE).

Introdução a outras ferramentas de trabalho

  • Hortonworks.
  • Apache Mahout.
  • Hbase - Banco de dados distribuído orientado a coluna.
  • Pig - Plataforma de alto nível para a criação de programas MapReduce.
  • Hive - uma infraestrutura de data warehouse sobre o Hadoop.
  • Apache Cassandra - Banco de dados distribuído altamente escalável.
  • Apache Sqoop.
  • Pentaho Data Integration e Hadoop.

 

Carga Horária:

  • 24 Horas.

 

Pré-Requisitos:

  • Conhecimento básico em programação Java.
  • Noções de Big Data.
  • Conhecimento de banco de dados e SQL
  • Conhecimento básico de Linux

 

Próxima turma prevista, veja também acima no calendário outras cidades.

  • Data: - -
  • Local: Sede da Ambiente Livre
  • Contato
 

Instrutor

Leia mais...

Treinamento Apache NiFi Dataflow

Sobre o Treinamento

Este treinamento é recomendado a técnicos que já conheçam os conceitos e o básicos do Hadoop e queiram ampliar seus conhecimento sobre Dataflow. A distribuição da Hortonworks será utilizada como base deste treinamento apesar do NiFi poder ser instalado em qualquer distribuição.O NiFi foi projetado para automatiza fluxo de dados entre sistemas de software, integração de dados de diversas origens com diversos tipos de destinos, usando bancos de dados, Hadoop (HDFS), Kafka, Apache Spark, entre outras fontes de dados. O Apache NiFi é um projeto de software da Apache Software Foundation e baseado no software "NiagaraFiles" desenvolvido pela NSA.

Calendário de turmas

Treinamento somente no formato in-company.

Objetivo

Ministrar os conceitos e técnicas de DataFlow com o Apache NiFi.

Público Alvo

O Treinamento Apache NiFi destina-se a profissionais analistas de BI, Desenvolvedores de ETL, Gestores de TI, desenvolvedores de sistemas, Cientistas de dados e Engenheiros de dados.

Conteúdo Programático:

Introdução ao Hadoop

  • Introdução ao Hadoop.
  • Histórico do projeto Apache Hadoop.
  • Características do Hadoop.
  • Conceitos fundamentais.
  • Componentes do núcleo do Hadoop.
  • Ecossistema Hadoop.
  • Exemplos de casos de uso.
  • Principais empresas que usam Hadoop no Mundo.
  • Principais empresas que usam Hadoop no Brasil.
  • Apache Software Foundation.
  • Sqoop X Pentaho Data Integration X NiFi X Talend.

Introdução ao Nifi.

  • Dados em repouso X dados em movimento.
  • Arquitetura do NiFi.

Configurando e executando um cluster NiFi.

  • Cluster Integration.
  • Load Balancing/Redundancy.
  • Orquestração em massa de NiFi.

Operações NiFi.

  • Database Aggregating, Splitting and Transforming.
  • Extração de dados, logs, etc.
  • Trabalhando com dados via FTP e SSH.
  • Trabalhando com dados de Bases de Dados (NoSQL e SQL).
  • Conexões com Webservices ( REST ou SOAP).
  • Integração com Splunk.

Monitoramento e Recovery.

  • Recuperando sem perda de dados.
  • Recuperação autônoma.

Otimizando o Apache NiFi.

  • Performance e Tunning.
  • Nifi Setup.

Desenvolvimento.

  • Ferramentas de desenvolvimento de aplicativos.
  • Ferramentas de ETL.
  • Componentes, eventos e padrões de processador.
  • Streaming de feeds de dados no HDFS.
  • Error Handling.
  • Controller Services.
  • Ingestão de dados de dispositivos IoT usando APIs baseadas na Web.
  • Desenvolvendo um processador Apache Nifi personalizado usando JSON.

Melhores Pŕaticas

  • Troubleshooting.
  • Teste e solução de problemas

Pré-requisitos de Conhecimento

  • Conhecimento básico Linux.
  • Conhecimento básico de redes (proxy, gateway,etc).

Requisitos dos Alunos

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM: 16GB
  • Espaço em Disco: 20GB.
  • Processador: i5 ou i7 a partir da segunda geração ou similar.
  • Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.
  • Todos equipamentos devem ter algum software de virtualização Oracle Virtual Box.

Carga Horária

  • 24 Horas de Duração.
  • 100% Presencial

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache NiFi e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache NiFi, e cursos sobre Apache NiFi. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Instrutor

Leia mais...

Treinamento Apache Flink com Scala

Sobre o Treinamento

O treinamento Apache Flink e voltado para profissionais de big data e ciência de dados qua atuam com administração de clusters com Apache Flink implantado mas  principalmente para desenvolvedores para que possam após o treinamento ser capaz de construir aplicações de Big Data usando uma das tecnologias mais modernas para processamento massivo o Flink, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Scala e o Framework de código aberto Apache Flink. Entender os principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs, saber escrever scripts Flink com acesso a HDFS, Hive, HBase e interações com outros projetos do ecossistema Hadoop necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Flink para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real.


Turmas Somente inCompany

 

Conteúdo Programático

Conceitual Big Data e Spark

  • Visão geral sobre Hadoop.
  • Características do Hadoop.
  • Sistema distribuído de arquivos.
  • Ecossistema Hadoop.
  • Quem usa o Hadoop.
  • Cases do uso Hadoop.
  • Uso de Hadware comum.
  • Distribuições do Hadoop (Cloudera X Hortonworks X Apache).
  • Apache Flink X Apache Spark.
  • Histórico do Apache Flink.
  • Casos de uso de Flink.
  • Empresas usando Flink no Mundo.
  • Empresas usando Flink no Brasil.

Introdução a Linguagem Scala

  • A Linguagem Scala.
  • Linguagens JVMs.
  • Instalando Scala.
  • Journey - Java para Scala
  • First Dive - Interactive Scala.
  • Escrevendo scripts Scala.
  • Compilando Programas Scala.
  • Basico em Scala.
  • Tipos Básicos Scala.
  • Definindo Funções.
  • IDE para Scala.
  • Scala Community.

Essencial em Scala

  • Imutabilidade em Scala - Semicolons.
  • Declaração método.
  • Literais.
  • Listas.
  • Tuplas.
  • Opções.
  • Maps.
  • Palavras reservadas.
  • Operadores.
  • Regras de precedência.
  • If Statements.
  • Scala para Compreensão.
  • While Loops, Do-While Loops.
  • Operadores condicionais.
  • Pattern Matching.
  • Enumerações.

Traits e OOPs em Scala

  • Traits Intro - Traits as Mixins.
  • Stackable Traits.
  • Criando Traits e OOPS - Classes and Objetos Básicos.
  • Construtores Scala.
  • Nested Classes.
  • Visibility Rules.

Programação Funcional em Scala.

  • O que é programação funcional?
  • Literais funcionais e Closures.
  • Recursão.
  • Tail Calls.
  • Estruturas de Dados Funcionais.
  • Parâmetros das Funções implícitas.
  • Chamada por nome.
  • Chamada por Valor.

Instalação do Apache Flink.

  • Visão geral da arquitetura Flink.
  • Instalando o Apache Flink.
  • Modos do Flink.
  • Standalone Cluster.
  • Multi-Node Flink Cluster.
  • Gerenciamento de memória.

Desenvolvendo com Apache Flink.

  • Invocando Scala REPL.
  • Criando o Contexto Spark.
  • Carregando um arquivo no Scala REPL.
  • Realizando algumas operações básicas em arquivos em Scala REPL.
  • Paralelo Stream.

Flink DataStream API - Streaming.

  • Event Time.
  • Estado e Tolerância a falha.
  • Operadores.
  • Conectores.
  • Window SQL.

Flink DataSet API - Batch.

  • Transformações.
  • Interações.
  • Conectores.
  • Execução Local.
  • Execução em Cluster.
  • Zipping.
  • Compatibilidade com Hadoop.

Flink Table SQL API e Hive

  • Arquitetura Table SQL.
  • Data Type.
  • Table API.
  • SQL e SQL Client.
  • UDFs.
  • Data Sinks.
  • Catalogos.
  • Window Table SQL.
  • Integrando com Hive.

Recursos gerais

  • CEP.
  • Melhores práticas.

Apache Flink e Pentaho.

  • Overview Suite Pentaho.
  • Pentaho data Integration e AEL - Adaptative Execution Layer.
  • Data Visualization.

Carga Horária:

  • 32 Horas.

Pré-requisitos dos Participantes:

  • Conhecimento em Programação Java ou alguma linguagem com Orientação Objeto.
  • Noções de Big Data.
  • Conhecimento de Banco de Dados e SQL.
  • Conhecimento Básico de Linux.
  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

  • Memória RAM : 8 GB.
  • Espaço em Disco: 20GB.
  • Processador: Dual-core AMD 64, EM64T
  • deve estar ativo a Virtualização na BIOS do equipamento.
  • Sistemas Operacionais:Qualquer um com suporte e Virtualização com VirtualBox.
  • Oracle VM VirtualBox ( https://www.virtualbox.org/ ).
  • Obs. Equipamentos com menos que 8GB de Memória RAM (Entre 5GB e 8GB) podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento. Equipamentos com 4GB ou inferior não funcionarão para o treinamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Flink e Scala e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações ( slides do treinamento ) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Instrutor

Leia mais...

Treinamento Apache Mahout

Sobre o Treinamento

O treinamento Apache Mahout passa uma visão conceitual e prática de como trabalhar com o Mahout para mineração de dados e aprendizado de maquina em grandes clusters de Big Data. Será apresentado como o Data Mining pode ajudar na melhoria dos negócios nas corporações apartir de diversos algoritmos disponíveis neste software de cógido aberto.

Objetivo

Ministrar as principais características do Apache Mahout junto a uma visão geral dos algoritmos, e sua aplicação na solução de problemas de Data Mining em ambientes de Big Data.

Público alvo do treinamento

Cientistas de Dados, Gestores de TI, Analistas de Business Intelligence, Engenheiros da Computação, Programadores, Analistas de Negócio


Turmas Somente inCompany

 

Conteúdo Programático

Conceitual Big Data e Mahout

  • Visão geral sobre Hadoop.
  • Características do Hadoop.
  • Sistema distribuído de arquivos.
  • Ecossistema Hadoop.
  • Quem usa o Hadoop.
  • Cases do uso Hadoop.
  • Uso de Hadware comum.
  • Distribuições do Hadoop (Cloudera X Hortonworks X Apache).
  • Apache Spark MLib X Apache Mahout.
  • Histórico do Apache Mahout.
  • Casos de uso de Mahout.
  • Empresas usando Mahout no Mundo.

Introdução a Mahout

  • Arquitetura do Mahout.
  • Características do Mahout.
  • Versões do Mahout.

Instalação o Apache Mahout

  • Instalando o Mahout.
  • Mahout no Cluster Hadoop.
  • Configurações do Apache Mahout.

Algoritmos no Mahout

  • Algoritmos Mahout.
  • Recomendações no Mahout (Recomender System)
  • Representando Dados de Recomendação.
  • Classificação com Mahout (Naive Bayes).
  • Clusterização com Mahout (K-Means).

Desenvolvendo com Apache Mahout.

  • Samsara Scala-DSL
  • Mahout com Scala.
  • Mahout MapReduce.
  • Mahout com Apache Spark.
  • Mahout com Apache Flink.
  • Mahout com Apache Zeppelin.

Integração com outras Ferramentas.

  • Mahout e Hive.
  • Mahout e HDFS.
  • Mahout e Apache Pig.

Tunning.

  • JVM Tunning.

Carga Horária:

  • 24 Horas.

Pré-requisitos dos Participantes:

  • Conhecimento Básico em Programação Java ou alguma linguagem com Orientação Objeto.
  • Conhecimento de Banco de Dados e SQL.
  • Conhecimento Básico de Linux.
  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

  • Memória RAM : 8 GB.
  • Espaço em Disco: 20GB.
  • Processador: Dual-core AMD 64, EM64T
  • Deve estar ativo a Virtualização na BIOS do equipamento.
  • Sistemas Operacionais:Qualquer um com suporte e Virtualização com VirtualBox e 64Bits.
  • Oracle VM VirtualBox ( https://www.virtualbox.org/ ).
  • Obs. Equipamentos com menos que 8GB de Memória RAM (Entre 5GB e 8GB) podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento. Equipamentos com 4GB ou inferior não funcionarão para o treinamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Mahout e Hadoop e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações ( slides do treinamento ) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

Instrutor

Leia mais...

Treinamento em Apache Cassandra - Fundamental

Turma OnLine/Ao Vivo

  • Data: - -
  • Local: Online Ao Vivo via Hangout
  • Inscreva-se
 

O treinamento fundamental em Apache Cassandra prepara profissionais para o mercado de trabalho com um banco de dados distribuído altamente escalável. Seu conteúdo programático foi desenvolvido para que profissionais possam implementar soluções de Big Data e NoSQL em suas corporações. O mesmo abrange, conceitos, conhecimentos de uso dos softwares, interação programática e atividades práticas.


Conteúdo Programático.

Conceitual Apache Cassandra.

  • O que é Big Data?
  • Visão geral sobre Cassandra.
  • Características Gerais do Cassandra.
  • Ecossistema de Big Data e Cassandra.
  • Cassandra X Outros NoSQL.
  • Apache Cassandra X DataStax Enterprise X ScyllaDB.
  • Cases do uso de Cassandra.

Características do Apache Cassandra.

  • Escalabilidade Linear.
  • Alta disponibilidade.
  • Alto desempenho.
  • NoSQL X SQL.
  • CAP Theorem.
  • Arquitetura.
  • Tolerância a Falhas.
  • Versões do Cassandra.
  • Introdução ao DevCenter.

Instalação do Apache Cassandra

  • Distribuições Cassandra.
  • Requisitos de Instalação.
  • Adquirindo os pacotes de Instalação.
  • Modo de Instalação.
  • Configuração um cluster Cassandra.
  • Iniciando o cluster com seus nós.
  • Introdução ao nodetools.

CDM e CQL ( Cassandra Data Model e Cassandra Query Language )

  • A linguagem CQL.
  • Flexibilidade do CQL.
  • Tables.
  • Column Family.
  • Row Key.
  • Columns, Columns name e Columns Values.
  •  KeySpace.
  • Timestamps.
  • Partition Key Simples e Composta e Indexação.
  • Insert.
  • Select.
  • Consultas indexadas.
  • Batch Statements.

Assuntos Complementares

  • Balanceamento de carga.
  • Testes de Stress no Cluster.
  • Suporte a MapReduce no Hadoop.
  • Apache Spark e Cassandra.
  • Backups.

Carga Horária:

  • 24 Horas de duração.

 

Pré-Requisitos:

  • Conhecimento de comandos e servidores Linux.
  • Conhecimento básico de programação.
  • Conhecimento Básico em modelo de dados, banco de dados e SQL.

 

Requisitos:

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para OnLine ter uma boa conectividade com a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM : 4GB
  • Espaço em Disco: 10GB
  • Processador: Dual-core AMD 64, EM64T
  • Sistemas Operacionais: GNU/Linux, Windows, MacOS.
  • VirtualBox.

 

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Cassandra e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

 

Metodologia

 

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

 

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Cassandra e cursos Cassandra. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Próxima Turma

    • Data: - -
    • Local: Online Ao Vivo via Hangout.

 

Inscrições, Informações e Valores.

Powered by BreezingForms

Fotos dos treinamentos Apache Cassandra

Instrutor

Leia mais...

Treinamento Administração em Apache Cassandra

O treinamento Administração do Apache Cassandra prepara profissionais para o mercado de trabalho com um banco de dados distribuído altamente escalável. Seu conteúdo programático foi desenvolvido para que profissionais possam implantar e administrar soluções de Big Data e NoSQL em suas corporações. O mesmo abrange, conceitos, conhecimentos de uso dos softwares, configuração, tunning todas realizadas com atividades práticas e exemplos reais de utilização.


Conteúdo Programático.

Conceitual Apache Cassandra.

  • Visão geral sobre Cassandra.
  • Características Gerais do Cassandra.
  • Ecossistema de Big Data e Cassandra.
  • Cassandra X Outros NoSQL.
  • Distribuições Cassandra.
  • DataStax X Apache Cassandra X ScyllaDB.
  • Cases do uso de Cassandra.
  • Escalabilidade Linear.
  • Alta disponibilidade e Alto desempenho.
  • CAP Theorem.
  • Arquitetura.
  • Tolerância a Falhas.

Planejamento de Hardware.

  • Seleção de hardware.
  • Virtual machine X Hardware Físico.
  • Memória.
  • Processadores.
  • Discos e Storage.
  • Storage X Disco Físico.
  • Limites e Recomendações.

Instalação e Configuração do Apache Cassandra

  • Distribuições Cassandra.
  • Requisitos de Instalação.
  • Adquirindo os pacotes de Instalação.
  • Modo de Instalação.
  • Configuração um Cluster Cassandra.
  • Iniciando o cluster com seus nós.
  • Diretórios de dados.
  • Configurando os Nós e Clusters do Cassandra Utilizando o CCM.

Administração do Cluster Cassandra

  • Executando e Parando a Instância Cassandra
  • Administrado o cluster com o NodeTool.
  • Analisando saúde do Cluster.
  • Analisando performance com NodeTool
  • Comunicação dos Nodes Cassandra.
  • Gravando e lendo dados no mecanismo de armazenamento.
  • Escolhendo e implementando estratégias de compactação.
  • Compactação Cassandra.
  • Size Tiered Compaction.
  • Time Window Compaction.
  • Práticas recomendadas do Cassandra (compaction, garbage collection)
  • Criando uma instância do Cassandra de teste com pouco espaço na memória.
  • Reparo Anti-entropy node
  • Reparo sequencial vs paralelo.
  • Nodesync.

Manutenção do Cluster Cassandra

  • Adicionando e removendo novos nodes.
  • Substituindo um node.

Solução de problemas (Troubleshooting)

  • Ferramentas e dicas para solução de problemas (Troubleshooting).
  • Diretórios de Logs.
  • Analise de Logs.
  • JVM Garbage e Collection Logging.

Administração de tabelas clusterizadas.

  • Quorum e consistency levels.
  • Sstables, memtables, commit log.
  • Replicação.
  • Sstablesplit

Backups e Restore.

  • Arquitetura para backups.
  • Planejamento de backups.
  • Ferramentas de apoio para Backup.
  • Restore.
  • Snapshots.
  • Sstabledump.
  • Sstableloader.

Tunning.

  • Balanceamento de carga.
  • Testes de Stress no Cluster.
  • Consistency Tuning.
  • Benchmarks.
  • Configurações de JVM.
  • Kernel Tunning.

Processamento distribuído.

Carga Horária:

  • 24 Horas.
  • 100% Presencial

Pré-Requisitos:

  • Conhecimento de comandos e servidores Linux,
  • Conhecimento básico de programação
  • Conhecimento Básico em modelo de dados, Banco de dados e SQL e NoSQL.

Requisitos:

  • Todos os participantes devem trazer um notebook para realizar as atividades práticas.
  • O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
  • Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

  • Memória RAM: 8GB
  • Espaço em Disco: 50GB
  • Processador: Dual-core AMD 64, EM64T
  • Sistemas Operacionais : GNU/Linux, Windows , MacOS.
  • VirtualBox.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

  • Todos os softwares Apache Cassandra e acessórios na sua última versão estável.
  • Material próprio em Português do Brasil.
  • Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
  • Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
  • Apostilas com exercícios práticos desenvolvidos no treinamento.
  • Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
  • Caneta, Pasta e Bloco de Anotações.

 

Metodologia

  • Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

 

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Cassandra e cursos Cassandra. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

 

Fotos dos treinamentos Apache Cassandra

Instrutor

Leia mais...

Log in