Elissandro Amauri Sofiati
Arquiteto de Dados
Introdução ao Big
Data e Hadoop
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Guias e Dicas
Prepare-se para as provas
Estude fácil! Tem muito documento disponível na Docsity
Encontrar documentos
Prepare-se para as provas com trabalhos de outros alunos como você, aqui na Docsity
Encontra documentos específicos para os exames da tua universidade
Encontra documentos específicos para os exames da tua universidade
Videoaulas
Prepare-se com as videoaulas e exercícios resolvidos criados a partir da grade da sua Universidade
Quiz
Responda perguntas de provas passadas e avalie sua preparação.
Ganhe pontos para baixar
Ganhe pontos ajudando outros esrudantes ou compre um plano Premium
Introdução ao Big Data e Hadoop, Slides de Sistemas de Gerenciamento do Banco de Dados (SGBD)
Curso de introdução à big data e Hadoop. Aborda conceitos bancos de dados e Big Data. Introduz ao ambiente Hadoop ensinando a utilizar o serviço de forma introdutória.
Tipologia: Slides
2021
1 / 46
Esta página não é visível na pré-visualização
Não perca as partes importantes!
Documentos relacionados
Pré-visualização parcial do texto
Baixe Introdução ao Big Data e Hadoop e outras Slides em PDF para Sistemas de Gerenciamento do Banco de Dados (SGBD), somente na Docsity!
Elissandro Amauri Sofiati Arquiteto de Dados
Introdução ao Big
Data e Hadoop
Mais sobre mim
● (^) Profissional de TI há mais de 20 anos ● (^) Sempre aprendendo ● (^) https://www.linkedin.com/in/easofiati ● (^) https://github.com/easofiati
Percurso
Aula
Big Data
Aula
Hadoop
[Nome do palestrante] [Posição]
[Nome do curso]
[Nome da aula]Aula 1: Big Data
Introdução ao Big Data
e Hadoop
[Nome do palestrante] [Posição]
[Nome do curso]
[Nome da aula]
Parte 1| Contexto atual de dados:
Big Data
Introdução ao Big Data e Hadoop
Contexto atual de dados
Atualmente temos dados sendo gerados a todo instante, sendo que a quantidade de dados está crescendo cada vez mais e ainda, são dados dos mais diversos tipos.
Contexto atual de dados
Como, onde e com que frequência esses dados são gerados?
Contexto atual de dados
Um exemplo de geração de dados. Quando você abre o browser, os seguintes dados são gerados:
- (^) Conexão: IP, velocidade do seu link
- (^) Geolocalização: Latitude, longitude, cidade, estado, país
- (^) Software: browser, plugins, sistema operacional
- (^) Hardware: cpu, gpu, nível de bateria
- (^) Sites conectados: Google, Facebook, entre outros …
[Nome do palestrante] [Posição]
[Nome do curso]
[Nome da aula]
Parte 2| Estrutura e processamento dos
dados:
Big Data
Introdução ao Big Data e Hadoop
Estrutura e
processamento dos
dados
Cerca de 90% de todos os dados existentes, foram gerados nos últimos 4 anos e a maior parte desses dados são dados não estruturados.
Estrutura e
processamento dos
dados
Dados estruturados: são aqueles que possuem estruturas bem definidas, rígidas, a qual foi previamente planejada para armazená-los. Por exemplo: banco de dados, planilha de Excel, arquivo delimitado, arquivo posicional, entre outros.
Estrutura e
processamento dos
dados
Dados semiestruturados: não possuem estrutura totalmente rígida e nem estrutura totalmente flexível, sendo uma representação heterogênea entre estruturado e não estruturado. Por exemplo: JSON, XML, entre outros
Estrutura e
processamento dos
Outro conceito importante é o de processamento de dados, onde^ dados
temos o termo “real time” e “batch”.
[Nome do palestrante] [Posição]