workshop-bigdata & Machine learning

Plano Teórico

Apresentação

O que é Big Data e Machine Learning – História, Volume, Velocidade, Variedade, Valor e Aplicações cotidianas

Big Data

Arquitetura Hadoop (HDFS, YARN, Map Reduce)

Apache Spark

Ferramentas do Ecossistema

     Hue

     Hive

     Sqoop

     Oozie

     Flume

     Kafka

Aplicações Batch e Realtime

Machine Learning

Problemas de Machine Learning

     Regressão

     Classificação

     Detecção de falhas

     Clusterização

     Recomendações

Plano Prático

Definição de Infraestrutura

Planejamento Infraestrutura Hadoop

Instalação e Configuração

Pré-requisitos

Instalação Cluster Hadoop e Spark usando a ferramenta Apache Ambari

Ingestão de Dados

Ingestão de dados a partir de arquivos texto (CVS)

Ingestão de dados no Hadoop a partir de base relacional

Ingestão de dados a partir de filas (Kafka / Flume)

Processamento de Dados

Processamento / Consolidação de dados com Hive

Processamento / Consolidação com Spark e SparkSQL

NoSQL e Visualização Dados

Introdução ao HBASE

Introdução ao Elasticsearch

Interconexão Hadoop x Elasticsearch

Geração dashboards com Kibana

NoSQL e Visualização Dados

Exemplo de Regressão de dados ( Estimativa Estoque )

Exemplo de Classificação ( Ranking de Crédito )

Exemplo de Análise Bayesiana ( Análise de Sentimento )

Exemplo de Rede Neural ( Classificação Imagens )