O treinamento Real-Time Analytics com Apache Spark Streaming e Python foi desenvolvido para que os alunos possam após o treinamento ser capaz de construir aplicações de Big Data e Analytics em Real-Time, usando as tecnologias mais modernas para processamento massivo o Spark Streaming com apoio de bibliotecas Python como Pandas e Numpy, são abordados conhecimentos de arquitetura e ecossistemas fundamentais para a programação com a linguagem Python e o Framework de Open Source Apache Spark, usando os modulos Apache Spark Streaming e Spark Machine Leaning Lib. Entender os principais conceitos e fluxo de trabalho de implementação, dominar tópicos avançados de manipulação de RDDs e DataFrames, e saber escrever scripts Spark com acesso a HDFS e interações com outros projetos do ecossistema Hadoop necessários para a análise de dados. Saber fazer uso de motores de processamento e desenvolver soluções que utilizam componentes em todo hub de dados da empresa. Ser capaz de construir aplicativos usando Apache Spark para processamento de stream combinando dados históricos com dados de streaming, através de análises interativas em tempo real e finalizar apresentando as informações em componentes de visualização de dados.

Calendário de turmas.

Somente turma corporativas.

Conteúdo Programático

Conceitual Big Data e Streaming.

• Streaming de Dados.
• Stream X Batch.
• Real-time Stream.
• Visão geral sobre Hadoop.
• Características do Hadoop.
• Sistema distribuído de arquivos.
• Ecossistema Hadoop.
• Quem usa o Hadoop.
• Cases do uso Hadoop.
• Uso de Hadware comum.
• Distribuições do Hadoop (Cloudera x Hortonworks x Apache).
• Free Software(GLP) X Open Source(BSD, Apache, etc)
• Apache Software Foundation.
• Kafka x RabbitMQ x Spark Stream x Flink Stream.

Instalação do Ambiente Python e Spark.

• Pré-requisitos.
• Instalando o Python.
• Instalando uma IDE Python.
• Conhecendo o PyPI.
• Instalando Pandas.
• Instalando Numpy.
• Instalando Pyarrow.
• Instalando Py4J.
• Instalando o Spark.
• Modos do Spark.
• Standalone Cluster.

Programação Funcional em Python e PySpark.

• O que é programação funcional?
• Literais funcionais e Closures.
• Recursão.
• Tail Calls.
• Estruturas de Dados Funcionais.
• Parâmetros das Funções implícitas.
• Chamada por nome.
• Chamada por Valor.
• PySpark.
• Python Package Management.
• Virtualenv.
• PEX.

Primeiros passos em Apache Spark

• Invocando Spark Shell.
• Criando o Contexto Spark.
• Carregando um arquivo no Shell.
• Realizando algumas operações básicas em arquivos em Spark Shell.
• Construindo um Projeto com sbt.
• Executando o Projecto Spark com sbt.
• Caching Overview, Persistência Distribuído.

RDD - Resilient Distributed Dataset

• Transformações no RDD.
• Ações em RDD.
• Carregando dados em RDD.
• Salvando dados através RDD.
• Key-Value Pair RDD.
• MapReduce e Operações RDD Pair.
• Integração Python e Hadoop.
• Arquivos de seqüência.
• Usando Partitioner e seu impacto na melhoria do desempenho.

Formatos de Armazenamento

• Trabalhando arquivos CSV com Spark.
• Trabalhando arquivos JSON com Spark.
• Trabalhando arquivos XML com Spark.
• Parsing XML com Spark RDD.
• Introdução ao Apache Parquet.
• Trabalhando com arquivos Parquet.

Apache Spark SQL e PySpark.

• DataFrame API.
• Spark SQL.
• Arquitetura Spark SQL.
• Analyze Spark SQL.
• Context em Spark SQL.
• UDF.
• Spark Session.
• Column API.
• Data Types.
• Row.
• Function.
• Window.
• Grouping.

Apache Spark e Pandas.

• Apache Arrow.
• Convertendo dados para o Pandas.
• Pandas UDF.
• Pandas Function.
• PyArrow.

Analise de Dados com Python.

• NumPy.
• Pandas.
• Slicing com NumPy.
• Reshaping Arrays.
• Pandas e Dataframes.
• Pandas - Multi Dimension.
• Pandas - Group By.
• Pandas - Rashape.
• Map,Filter e Reduce.
• Lambda.
• NumPy - Join,Split.
• Array Numpy.
• SQL Join Tables Pandas.
• Pandas, NumPy e PySpark.

Apache Spark Streaming

• Spark Streaming.
• Query Management.
• Fluxo do Streaming de Dados.

Apache Spark MLlib

• Machine Learning com Apache Spark.
• Aprendizagem Supervisionada.
• Aprendizagem Não Supervisionada.
• Aprendizagem por Reforço.
• MapReduce com PySpark.
• DStreams.
• Spark MLLib - Regressão Linear.
• Spark MLLib - Classificação com Algoritmo Decision Tree.
• Spark MLLib - Classificação com Algoritmo Random Forest.
• Spark MLLib - Classificação com Algoritmo Naive Bayes.
• Spark MLLib - Clusterização com Algoritmo K-Means.
• Spark MLLib - Algoritmos de Recomendações.

Data Visualization Tools.

• Técnicas de Data Visualization.
• Matplotlib.
• Seaborn.
• ggPlot.

Carga Horária:

• 32 Horas.

Pré-requisitos dos Participantes:

• Conhecimento em Programação e Python.
• Conhecimento de Banco de Dados e SQL.
• Conhecimento Básico de Linux.
• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos mínimos de hardware:

• Memória RAM : 8GB.
• Espaço em Disco: 10GB.
• Processador: Dual-core AMD 64, EM64T
• deve estar ativo a Virtualização na BIOS do equipamento.
• Sistemas Operacionais:Qualquer um com suporte e Virtualização com VirtualBox.
• VirtualBox ( https://www.virtualbox.org/ ).
• Obs. Equipamentos com menos que 8GB de Memória RAM (entre 5GB e 8GB) podem passar por lentidão nas atividades de uso de maquinas virtuais simultâneas no treinamento. Equipamentos com 4GB ou inferior não funcionarão para o treinamento.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Spark e Python e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações (Quando presencial).

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas

• Contato

Inscrições, Informações e Valores

Instrutor

O treinamento mlFlow foi elaborado para apresentar e conceituar toda plataforma e o ciclo de vida do machine learning, e atende as necessidades da mlOps, sendo o cientista de dados o profissional mais atuante nesta ferramenta. O MLflow é uma plataforma para otimizar o desenvolvimento de aprendizado de máquina, incluindo experimentos de rastreamento, código de empacotamento em execuções reproduzíveis e compartilhamento e implantação de modelos. O MLflow oferece um conjunto de APIs leves que podem ser usadas com qualquer aplicativo ou biblioteca de aprendizado de máquina existente (TensorFlow, PyTorch, XGBoost etc.), onde quer que você execute o código ML (por exemplo, em notebooks, aplicativos autônomos ou na nuvem).

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático

Conceitual.

• Introdução a Data Science.
• O profissional Data Scientist.
• O Software mlFlow.
• Software Livre x Open Source.
• Licenciamento.
• Databricks.
• Histórico do mlFlow.
• Empresas usando mlFlow no Mundo.
• Empresas usando mlFlow no Brasil.
• Comunidade mlFlow.
• Versões do mlFlow.
• Casos de Uso.

mlFlow fundamentos.

• Machine Learning Workflow.
• componentes do mlFlow.
• Arquitetura do mlFlow.
• Escalabilidade e Big Data.
• A plataforma mlFlow.
• O Workflow.
• Linguagens suportadas.
• Bibliotecas suportadas.
• Jupyter Notebook.

 Linguagem Python.

• Apresentando Python.
• Escrevendo scripts Python.
• Básico em Python.
• Tipos Básicos Python.
• Definindo Funções.
• IDE para Python.
• mlFlow Python API.

Instalação.

• Instalando o Python.
• Instalando o mlFlow.
• Instalando o Jupyter.
• Instalando o Numpy.
• Instalando Pandas.

mlFlow Tracking.

• Scikit-learn autologging.
• Local Tracking com SQLite.
• Tracking Server.
• Remore Tracking Server.
• Artifact Stores.
• Fast.ia
• Tracking UI.
• MLflowClinet.
• Bibliotecas suportadas.

mlFlow Models.

• Model Schemas.
• Input examples.
• Input Schema.
• Output Schema.
• Validate inputs.
• Storage Format.
• MLmodel Format.
• Model Signature.
• Spark MLlib.
• Python Function.
• Spacy Model.
• Deployment com Docker.
• Deployment com Apache Spark.
• Deployment Plugins.
• Model API.
• Model Customization.

mlFlow Projects.

• Backend plugins
• YARN.
• Arquivo MLproject.
• Empacotando projetos.
• Executando com Conda.
• Executando com Docker.

mlFlow Model Registry.

• UI Workflow.
• Adicionado Modelos no Registry.
• CRUD Models.
• Tags.
• Versionamento.
• Arquivamento.
• Lyfecyle.
• API Workflow.

mlFlow na Cloud.

• Deployment no Azure ML.
• Deployment no AWS SageMaker.

Gerais.

• Como criar um plugin para mlFlow.

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento Básico de Machine Learning e Data Science.
• Conhecimento em alguma linguagem de programação.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares mlFlow e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos mlFlow e cursos mlFlow . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

O treinamento em Apache Superset tem foco em ensinar como explorar, organizar e visualizar dados e realizar investigações, apresentando sua interface intuitiva para visualizar conjuntos de dados e criar painéis, e usando o construtor de visualização sem código para extrair e apresentar conjuntos de dados com a a maioria dos bancos de dados SQL do mercado.
Apache Superset é um aplicativo cloud-native software open source para exploração e visualização de dados capaz de lidar com dados em escala de petabyte. O aplicativo começou como um projeto hack-a-thon de Maxime Beauchemin enquanto trabalhava no Airbnb e entrou no programa Apache Incubator em 2017.

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático

Conceitual.

• Introdução a Data Visualization.
• O Software Apache Superset.
• Software Livre x Open Source.
• Licenciamento.
• Apache Software Foundation.
• Histórico do Superset.
• Empresas usando Superset no Mundo.
• Empresas usando Superset no Brasil.
• Comunidade Superset.
• Versões do Superset.

Apache Superset.

• Arquitetura do Apache Superset.
• Stack Superset.
• Componentes do Superset.
• Metadata database engine.
• Message queue.
• Cordination.

Instalação e configuração.

• Instalando com Docker Compose.
• Instalando via Scratch.
• Configurando o Superset.
• Configurações de Rede.
• Caching.
• Logs.
• Async Queries - Celery.
• Alertas.
• SQL Templates.
• Customizando plugins Viz.
• Executando em ambiente Kubernetes.

Conectores.

• Instalando Drivers.
• Drivers via Docker.
• Amazon Athena
• Amazon Redshift.
• Apache Drill.
• Apache Druid.
• Apache Hive.
• Apache Impala.
• Apache Solr.
• Apache Spark SQL.
• Apache Dremio.
• Elasticsearch.
• Google Big Query.
• Google Sheets.
• MySQL.
• PostgreSQL.
• Configurações adicionais.

Gráficos e Dashboards.

• Criando dashboards.
• Esportando dados via Supeset.

API

• A API do Superset.
• API Annotation Layers.
• API Charts.
• API CSS Templates.
• API Dashboards.
• API Database.
• API Dataset.
• Outros endpoints.

Gerais.

• Country Map.
• Import e Export.

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou Mac OS)
• Conhecimento Básico de de SQL.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Superset e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Superset e cursos Apache Superset . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

O treinamento em Apache Parquet tem foco em aprofundar o conhecimento de engenheiros de dados do formato mais utilizado pelos ambiente de Big data da atualidade, além dos conceitos, vantagens e arquitetura os profissionais poderão administrar a forma mais interessante do Parquet para seu ambiente de dados / big data. O treinamento passa pelo fundamental e estende-se ao avançado.

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático

Conceitual.

• Introdução a Big Data.
• Arquivos serializados.
• Formato Colunar.
• O Software Apache Parquet.
• Motivações do Parquet.
• Software Livre x Open Source.
• Licenciamento.
• Apache Software Foundation.
• Histórico do Parquet.
• Empresas usando Parquet no Mundo.
• Empresas usando Parquet no Brasil.
• Comunidade Parquet.
• Versões do Parquet.

Apache Parquet

• Arquitetura do Apache Parquet.
• Otimização com Parquet.
• Parquet x JSON x CSV x Apache ORC.
• Tipos de dados.
• Block.
• File.
• Row group.
• Column chunk
• Page.
• Metadata.
• Nested Encoding.

Compactação e Criptogratia.

• Tipos de Compactação.
• Vantagens e Desvantagens.
• Criptografia do Parquet.

Parquet no Ecossistema de Big Data.

• Hive e Parquet.
• Spark e Parquet.
• Hadoop Input/Output e Parquet.
• Pentaho Data Integration e Parquet.

Build

• Apache Maven.
• Compilando o Parquet.

Módulos

• Apache Parquet for C++.
• Apache Parquet em Rust.
• Parquet MR.

Parquet na Cloud.

• AWS S3 Inventory

Gerais.

• Extendendo o Parquet.
• Config Row group size.
• Config Data page size

Carga Horária.

• 4 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento Básico de de Hadoop e HDFS.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Parquet e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Parquet e cursos Apache Parquet . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

O Apache Flume é um serviço distribuído, confiável e disponível para coletar, agregar e mover de forma eficiente grandes quantidades de dados de registro. Possui uma arquitetura simples e flexível baseada em fluxos de dados de streaming. É robusto e tolerante a falhas com mecanismos de confiabilidade ajustáveis e muitos mecanismos de failover e recuperação. Ele usa um modelo de dados extensível simples que permite a aplicação analítica on-line. O nosso treinamento prepara os alunos para trabalhar com fluxos de dados streaming para dar suporte a aplicações analíticas de Big Data com base em atividades conceituais e práticas.

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático

Conceitual.

• Introdução a Streaming.
• Introdução a Big Data.
• Ecossistema Hadoop.
• O Software Apache Flume.
• Software Livre x Open Source.
• Licenciamento.
• Apache Software Foundation.
• Histórico do Flume.
• Empresas usando Flume no Mundo.
• Empresas usando Flume no Brasil.
• Comunidade Flume.
• Versões.

Arquitetura.

• Arquitetura do Apache Flume.
• Flume NG.
• Modelo de Fluxo de Dados.
• Variáveis de Ambiente.

Instalando o Apache Flume.

• Requisitos do Apache Flume.
• Configurando o Apache Flume.
• Instalando o Apache Flume.
• Configurando Componentes.
• Iniciando Agents.

Flume Sources.

• Avro.
• Thrift.
• Exec.
• JMS.
• Taildir.
• Apache Kafka.
• HTTP Source.
• Custom source.

Flume Sinks.

• Data Ingestion.
• Flume Sinks
• HDFS Sink.
• Hive Sink.
• Avro Sink.
• Thrift Sink.
• HBase Sink
• Flume Sink Processors.

Flume Channel.

• Flume Channels.
• Memory Channel.
• JDBC Channel.
• Kafka Channel.
• File Channel.
• Spillable Memory Channel.
• Pseudo Transaction Channel.
• ElasticSearch Sink.
• Custom Channel.
• Flume Channel Selectors.
• Event Serializers.
• Flume Interceptors.

Gerais.

• Raw Data.
• Instalando Plugins.
• Flume Properties.
• Network Streams.
• Multi agents.
• Consolidação.
• Segurança no Apache Flume.

Carga Horária.

• 16 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento Básico de de Hadoop e HDFS.
• Conhecimento Básico de Kafka, JDBC e HBase.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou Mac OS.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Flume e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Apache Flume e cursos Apache Flume . caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

O treinamento dbt (data build tool) é destinado a analista de dados, engenheiros analíticos e profissionais de times de dados que necessitam tratar o dado armazenados em data warehouses, estejam em cloud ou local, antes de demonstra-los nas camadas de data visualization. O dbt realiza todo o seu fluxo de trabalho de engenharia analítica.

A engenharia analítica é o trabalho de transformação de dados que ocorre entre o carregamento de dados em seu warehouse e sua análise. O dbt permite que qualquer pessoa familiarizada com o SQL possa construir esse fluxo de trabalho.

Neste curso de dbt vamos construir sua mentalidade de engenharia analítica e habilidades no dbt para que você possa avançar em seus trabalhos. Conheça nosso conteúdo programático que foi construído para formação analista de dados avançados.

Calendário de turmas.

Somente no modelo corporativo no momento.

Conteúdo Programático

Conceitual dbt.

• Introdução ao Analise de Dados.
• Introdução a Data warehouse.
• Introdução a modelagem dimensional.
• Histórico da modelagem de dados.
• Star Schema, Snowflake, Data Vault.
• ETL x ELT.
• A função do Analytics Engineer.
• O Software dbt (data build tool).
• Software Livre x Open Source.
• Licenciamento.
• Histórico do dbt.
• Empresas usando dbt no Mundo.
• Empresas usando dbt no Brasil.
• Comunidade dbt.
• Versões.
• Open Source X Enterprise.

Instalação do dbt

• Requisitos de instalação do dbt.
• Instalação do dbt.
• Configuração do dbt.
• Conectando com PostgreSQL.
• Conectando com Redshift.
• Conectando com BigQuery.

Fundamentos.

• O Formato yaml.
• A Linguagem Python.

Modelos no dbt.

• dbt, Databases e controle de versão.
• Conectando no warehouse.
• Models.
• Modularity.
• Modularity e ref functions.
• Model Naming Conventions.
• Organização do projeto.

dbt Cloud.

• dbt Cloud.
• Carregando dados.
• dbt Cloud IDE.

Testes em dbt.

• Tests X Tests dbt.
• Schema Tests.
• Data Tests.

Documentação.

• Importância da documentação.
• doc blocks.
• Gerando a documentação.

Sources.

• O conceito de Sources.
• Configurando um Source.
• Documentando o Source.
• Source freshness.

Deployment.

• deployiment
• scheduling dbt.
• dbt job.

Jinja Primer e Macros.

• O Conceito do Jinja.
• Jinja Template Designer.
• Jinja + SQL.
• Aplicações Jinja.
• Macros.
• DRY Code.

Packages.

• Packages.
• Instalando Packages.
• Packages com Models.

Materializations.

• Materializations.
• Tabelas , Views.
• Ephemeral models.
• Incremental Models.
• Snapshots.

Analises e Seeds.

• Analyses.
• Seeds.

Carga Horária.

• 24 Horas.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Pré-Requisitos.

• Conhecimento Básico em algum Sistema Operacional (Windows, Linux ou MAC)
• Conhecimento básico de banco de dado.
• Conhecimento básico de SQL.
• Conhecimento básico de Programação.

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsets de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou MacOS.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares dbt Open Source e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas com exercícios práticos (hacks) desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos dbt e cursos dbt. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

Sobre o treinamento

O treinamento é voltado para analistas de dados que querem acessar, manipular, transformar e analisar conjuntos de dados complexos no ecossistemas de Big Data como Hadoop usando as ferramentas Apache Hive, Apache Impala e Apache Pig. O curso foca no uso das ferramentas, suas funcionalidades e características, e não na instalação da infraestrutura que é apresentado um overview, todo ambiente será entregue em VMs previamente instalada em GNU-Linux/Debian e versões Apache ou Cloudera do Hadoop HDFS, Spark, Hive, Impala e Pig. Nosso conteúdo programático que foi construído para formação de especialistas em analise de dados com Hive, Impala e Hive, O mesmo mescla conhecimentos conceituais  de analise e ciência de dados, conhecimentos de negócio, assim como integração e programação.

Modalidade do Treinamento.

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Conteúdo Programático

Conceitual do Ecossistema Hadoop.

• O que é Big Data?
• Os 4 V's principais do Big Data.
• Os Profissionais Cientista de Dados (Data Scientist) e Engenheiro de Dados (Data Engineer).
• Data Lake.
• IoT - Internet das Coisa e Big Data.
• Principais Ferramentas de Big Data.
• Licenciamento (Free Software X Open Source).

Introdução ao Hive, Impala e Pig.

• Apache Hive.
• Apache Impala.
• Apache Pig.
• Schema e Datastore.
• Arquitetura.
• Comparando Hive X Impala X Pig.
• Hive X Presto.
• Comparação do Hive,Impala e banco de dados tradicionais.
• Empresas usando Hive, Impala e Pig no Brasil e no Mundo.
• Casos de uso do Hive, Impala e Pig.
• Comunidades Hive, Impala e Pig.
• Versões do Hive, Impala e Pig.

Overview de instalação do Hive, Impala e Pig.

• Pré-requisitos de instalação.
• variáveis de ambiente.
• Principais arquivos de configuração.

Analisando Dados com Apache Hive e Apache Impala.

• Banco de Dados e Tabelas.
• Tipos de dados.
• HCatalog.
• Hive QL.
• Hive e Impala Query Language Syntax.
• Usando o HUE para executar Querys.
• Beeline e Hive Shell.
• Impala Shell.
• Impala Metadata Caching.
• Operadores.
• Funções escalares.
• Funções de Agregação.
• Union e Join.
• Trabalhando com NULL.
• Alias.
• Filtros, Ordenações e Limites de Resultados.
• Expressões regulares.
• Analise de Texto.

Gerenciamento de Dados.

• Datatorage.
• Criando tabelas e bancos de dados.
• Carregando dados.
• Alterando tabelas e bancos de dados.
• Criando e usando Views.
• Armazenando resultados de Consultas.

Formato de Dados.

• Os principais formatos de dados.
• Apache Avro.
• Apache Parquet.
• Apache ORC.
• Escolhendo o formato de dados ideal.

Particionamento.

• Introdução a Particionamento.
• Alta performance.
• Particionamento de tabelas.
• Carregando dados em tabelas particionadas.

Otimização do Apache Hive e Apache Impala.

• Query Performance.
• Bucketing.
• Hive com Spark.
• Impala Performance.

Extendendo o Hive e o Impala.

• UDFs.
• SerDes.

Melhorias e Futuro.

• Hive Mall.
• Hive LLAP.
• TEZ.

Analisando dados com Pig

• Tipo de Dados.
• Pig e MapReduce.
• Componentes.
• Modos de Execução.
• PigLatin.
• Scripts Pig.
• Executando scripts pig.
• Integrando Pig e Hive.
• Integrando Pig e Impala.

Carga Horária.

• 32 Horas.

Público Alvo.

• Analistas de Dados.
• Engenheiros de Dados.
• DBAs
• Desenvolvedores.
• Cientistas de Dados.

Pré-requisitos.

• Conhecimento básico em algum sistema operacional (Windows, Linux ou MAC)
• Conhecimento básico de banco de dado e SQL.
• Conhecimento básico de programação (Scripts SQL).

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 15 alunos para um melhor desempenho.

Requisitos Recomendados de Hardware e Software.

• Memória RAM: 8GB.
• Espaço em Disco: 20GB.
• Processador: 64 bits (chipsts de x64).
• CPU: 2 núcleos.
• Sistemas Operacionais: GNU/Linux, Windows ou MacOS.
• VirtualBox.

Material.

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Hive, Impala e Pig e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Brindes: Caneta, Pasta e Bloco de Anotações. (Somente em presenciais)

Metodologia.

• O treinamento apresenta uma empresa fictícia onde será implantado as ferramentas de analise  e todas as fases da implantação para analise usando Hive, Impala e Pig.
• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Hive, Impala e Pig e cursos Hive, Impala e Pig. caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Inscrições, Informações e Valores

[No form id or name provided!]

Instrutor

O Software GLPI ITSM.

GLPI é uma ferramenta de software ITSM (Gerenciamento de Serviços de TI) que ajuda a planejar e gerenciar mudanças de TI de uma maneira fácil, resolver problemas com eficiência quando surgirem, com metodologias ligadas ao Help Desk e ao Service Desk (ITIL), e também permitir que você obtenha controle sobre o orçamento e as despesas de TI da sua empresa. Ele é uma solução web Open-source completa para gestão de ativos e help desk. O mesmo gerência todos os seus problemas de inventário de ativos/hardwares e software e suporte ao usuário

ITIL - Help Desk e Gestão de Serviços de TI.

ITIL e uma sigla para Information Technology Infrastructure Library, é um conjunto de boas práticas detalhadas para o gerenciamento de serviços de TI que se concentra no alinhamento de serviços de TI com as necessidades dos negócios.
O ITIL descreve processos, procedimentos, tarefas e listas de verificação que não são específicos da organização nem específicos da tecnologia, mas podem ser aplicados por uma organização para estabelecer a integração com a estratégia da organização, entregando valor e mantendo um nível mínimo de competência. Ele permite que a organização estabeleça uma linha de base a partir da qual possa planejar, implementar e medir. Ele é usado para demonstrar conformidade e medir a melhoria.

Vantagens do GLPI.

• Custo zero de licença de software.
• Alinhado com a ITIL.
• Gestão completa de Help Desk.
• 100% Web.
• Diversos plugins com funcionalidades acessórias.
• Multi Empresa.
• Instalado em cloud, on premise ou híbrido.
• Acesso controlado por departamento e usuário..

Funcionalidades do GLPI.

• Gestão de Incidentes e Requisições.
• Gestão de Problemas.
• Gestão de Mudanças.
• Gestão de Níveis de Serviço - SLA.
• Gestão do Conhecimento.
• Gestão de Ativos e Licenças (adquiridas, a serem adquiridas, sites, OEM) e datas de expiração.
• Gestão de Projetos.
• Gestão de Fornecedores.
• Gestão de Reservas.
• Gestão de empréstimos.
• Relatórios e Estatísticas,
• Inventário dos computadores, periféricos, rede, impressoras e produtos afins.
• Indicação do hardware por área geográfica (sala, piso, etc).
• Gestão das informações comerciais e financeiras (compra, garantia e extensão, amortização).
• Gestão do estado do hardware.
• Gestão dos pedidos de intervenção para todos os tipos de hardware do inventário.
• Interface do usuário final para pedido de intervenção.
• Gestão das empresas, contratos, documentos ligados aos elementos dos inventários.
• Gestão de um sistema de base de conhecimentos hierárquicos (FAQ), gestão de um FAQ público.
• Criação de relatórios sobre o hardware, dos relatórios da rede, dos relatórios sobre as intervenções.
• Atribuição de chamados para usuários, grupo, ou setor dependendo de sua categoria.
• Histórico completo de chamados abertos, incluindo quando, o quê e por quem foi alterado.
• Possibilidade de anexar arquivos em chamados, criar soluções que podem ou não ser vistos pelo requerente do chamado.
• Follow-up dos chamados via e-mail.
• Integração com AD ou LDAP.

Ambiente Livre e GLPI.

A Ambiente Livre é pioneira na prestação de serviços, com foco em softwares de código fonte aberto e apta a prestar: Consultoria, Treinamentos em turma aberta ou In Company, Implantação e  Suporte para  as  seguintes  soluções: Big Data, Business Intelligence (BI), Business Analitycs,Data Mining, Enterprise  Content  Management (ECM), Business Process  Management  (BPM), CRM,CMS que geram maior controle e  flexibilidade às empresas. Com mais de 16 anos de excelência em capacitações, consultorias e suporte em um ecossistema voltado a negócios, pode lhe ajudar a gerir complexidades, reduzir custos, permitindo adaptar e oferecer inovação  inteligente necessária para o seu sucesso.

A Ambiente Livre tem uma verticalização especialista em CMS Open Sources com a Plataforma GLPI, e atua em todo o Brasil, América Latina, Europa e África levando conhecimento as empresas sobre plataformas de Help Desk e ITSM, através de capacitações, eventos, cursos de GLPI, workshops e treinamentos de GLPI. Com profissionais com experiência de mais de 8 anos com GLPI, realizando implementações, projetos, desenvolvimentos, consultoria e principalmente transferência de tecnologia através de seus treinamentos em GLPI e se consolidamos como a principal referência em formação de tecnologias open source GLPI, atendendo mais de 100 empresas no Brasil, Paraguai, Argentina e Angola nos últimos anos com uso do GLPI.

A Ambiente Livre tem todo know-how para ajudar sua equipe a implantar uma solução robusta de gestão de help desk e gestão de ativos com o GLPI.

Consultoria em GLPI.

Em nossas consultorias realizamos os seguintes trabalhos

• Consultoria na implantação do GLPI.
• Consultoria em projetos GLPI.
• Desenvolvimento e Customizações do GLPI.
• Consultoria e apoio ao cliente na definição de organização do GLPI.
• Consultoria na instalação e configuração do Ambiente GLPI com LDAP/AD.
• Consultoria para definição de viabilidade de implantação On Premise ou Cloud Server.
• Consultoria na migração de ambientes de Help Desk para GLPI.
• Consultoria no desenvolvimento de Relatórios no GLPI.

Todos os trabalhos tem acompanhamento interno da equipe do cliente para transferência de conhecimento e trabalho conjunto no entendimento do negócio do cliente.

Suporte em GLPI.

Temos pacotes de horas mensais pré-contratados com custos reduzidos e SLA de atendimento para ambiente críticos.

• Suporte em GLPI.

Ambientes onde podemos implementar as soluções GLPI.

• On Premise - Crie sua própria infraestrutura sem depender de fornecedores de cloud e ficar subordinado ao faturamento em dólar.
• Amazon Web Services - AWS.
• Google Cloud Plataform - GCP.
• Microsoft - Azure.

Tecnologias de Help Desk e ITSM que somos especialistas.

• GLPI ITMS.
• OCS Inventory.

Conheça nossos treinamentos no GLPI.

Solicite uma reunião com nossos consultores para entender suas necessidades e sugerirmos o melhor caminho para sua empresa implementar uma solução completa para gestão de Help Desk e Service Desk. Entre em contato conosco.

Sobre o Treinamento

O treinamento fundamental Apache Kafka é voltado para Administradores, desenvolvedores, arquitetos de software e engenheiros de dados que pretendem conhecer o processo de implementação de um streaming de dados distribuído. O treinamento tem diversas atividades práticas simulando uma implantação e integração do Kafka a um ambiente complexo de processamento de dados. Contempla itens voltados a administração, infraestrutura e desenvolvimento. 

Calendário de turmas abertas Apache Kafka

Somente turmas fechadas.

Modalidades do Treinamento:

• Presencial - Abrimos turmas onde pode se inscrever, atuamos na maioria das capitais Brasileiras.
• On Line Ao Vivo - Fazemos a transmissão Online do Treinamento.
• In Company (Presencial ou Online) - Turmas Fechadas para empresas a custo único para até 15 Alunos.

Conteúdo Programático

Conceitual

• Streaming.
• Stream X Batch.
• Eventos.
• Dados Distribuídos.
• Real-time Stream.
• CDC – Change Data Capture.
• Projeto Apache Kafka.
• História do Apache Kafka.
• Apache Software Foundation.
• Kafka x RabbitMQ X Spark Stream X Flink Stream.
• Licenciamento (Free Software X Open Source).
• Motivações para usar Streaming.
• Empresas usando Kafka no mundo.
• Empresas usando Kafka no Brasil.
• Versões do Apache Kafka.
• Confluent Plataform.
• Comunidade Apache Kafka no Brasil e no Mundo.
• Livros, sites, documentação e referências.

Instalação do Kafka

• Pré-requisitos
• Instalando Java/JDK.
• Instalando o rodando o Kafka.
• Configurações iniciais do Kafka.

Fundamentos do Kafka

• Producer.
• Kafka Brokers.
• Local Storage.
• Tempo de retenção.
• Política de retenção.
• Poll.
• Kafka Consumers.
• Mensagens.
• Tópicos.
• Particionamentos.
• Segmentos.
• Log.

Kafka Data Model.

• Registro.
• Headers.
• Chave.
• Hash.
• Valor.
• Timestamp.
• Tipos de Dados.
• Serialização de dados.
• Avro, JSON.
• Meta Data (Schema).

Arquitetura do Apache Kafka.

• Kafka Commit Log.
• Replicação e Alta Disponibilidade.
• Particionamento e Consumers Group para Escalabilidade.

Kafka Producers

• Producers Designer.
• Desenvolvendo Produces em Java.
• Configurações.
• Criando Producers.
• Enviando Dados.
• Desenvolvendo Produces em Python.
• Producers via REST.
• Producers via linha de Comando.
• Produce Cache.

Kafka Consumers.

• Desenvolvendo Comsumers em Java.
• consumer.properties.
• Consumer Pull.
• Consumer Offset.
• Consumer Group.
• Leader e Follower.
• Consumers Rebalances

Integrando o Kafka com suas Aplicações.

• REST Proxy.
• Schema Registry.
• Kafka Connect.
• KStreams X KTables.
• Kafka Connect API.
• Kafka Pipeline.
• Kafka Stream.
• Criando Streams.
• Criando Tabelas.
• Kafka Stream API.
• Kafka Streams Data Types.
• Kafka Streams DSL - Stateless Operations.
• Kafka Streams DSL - Aggregation.
• Kafka Streams DSL - Windowed aggregation.
• Kafka Streams DSL - Join.
• Kafka Streams DSL- Summary.
• Filter, Map, Join, Aggregate.
• Subscribe, Poll, Send, Flush.
• ksqlDB.
• Kafka SQL.
• KSQL interagindo com Apache Kafka.
• Microserviços.
• Continuos Querys.
• Continuos Transformations.
• Kafka e Pentaho Data Integration.
• Importação e Exportação de Dados no Kafka.
• Source e Sinks.
• Kafka Java Application.
• Kafka Hadoop Consumer API.

Kafka Cluster

• Zookeeper.
• Fator de Replicação.
• Estratégias de Particionamento.
• Particionamentos customizados.
• Liderança de Partições.
• Load Balancing.
• Testando o Cluster.
• CLI Tools.
• Expandindo seu cluster.
• Incrementando o fator de Replicação

Tópicos Avançados.

• Kafka com Docker e Kubernetes.
• Deploy com arquivo WAR.
• Scalable Data Pipeline.
• Log Compactado.
• Segurança.
• Autenticação e Autorização.
• Criptografia.
• Monitoramento com JMX.

Carga Horária:

• 32 Horas.

Pré-Requisitos:

• Conhecimento Básico em comandos Bash Shell/Linux.
• Conhecimento básico de Java.
• Conhecimento em Java IDE (Eclipse, IntelliJ ou NetBeans).

Requisitos:

• Todos os participantes devem trazer um notebook para realizar as atividades práticas.
• O Computador deve estar  com acesso de administrador para possibilitar instalações de aplicativos e acesso a Internet.
• Para turmas In-Company não trabalhamos com limite de participantes para os treinamentos, orientamos que as turmas sejam de até 12 alunos para um melhor desempenho.

Requisitos mínimos de hardware

• Memória RAM: 8 GB.
• Espaço em Disco: 20 GB.
• Processador: 4 Cores.
• Sistemas Operacionais : GNU/Linux, Windows, Mac OS.

Material

Serão disponibilizados os seguintes materiais aos alunos do treinamento:

• Todos os softwares Apache Kafka e acessórios na sua última versão estável.
• Material próprio em Português do Brasil.
• Apresentações (slides do treinamento) desenvolvidas pela equipe Ambiente Livre.
• Apostilas digitais dos softwares desenvolvidas pela Ambiente Livre.
• Apostilas com exercícios práticos desenvolvidos no treinamento.
• Materiais e documentações complementares desenvolvido pela Comunidade Open Source Mundial.
• Caneta, Pasta e Bloco de Anotações.

Metodologia

• Todos os dias serão apresentados novos recursos e conceitos e avaliados através de exercícios práticos em todas as aulas.

Estamos localizados em Curitiba e atendemos em todo Brasil com treinamentos Kafka e cursos Kafka. Caso necessite de um treinamento customizado com suas necessidades também elaboramos estes treinamentos. solicite proposta comercial.

Informações e Valores

[No form id or name provided!]

Instrutor