Baixe Big Data: Conceitos, Características e Aplicações e outras Notas de estudo em PDF para Programação Funcional, somente na Docsity!
- Big Data e DHCP Big data é um termo que descreve o grande volume de dados — tanto estruturados quanto não-estruturados — que sobrecarrega as empresas diariamente. Mas não é a quantidade de dados disponíveis que importa; é o que as organizações fazem com eles. O big data pode ser analisado para obter insights que levam a decisões melhores e ações estratégicas de negócio. Embora o termo "big data" seja relativamente novo, o ato de coletar e armazenar grandes quantidades de informações para análises eventuais é muito antigo. O conceito ganhou força no começo dos anos 2000, quando o analista Doug Laney articulou a definição atualmente mainstream de big data em três Vs: Volume. Organizações coletam dados de fontes variadas, incluindo transações financeiras, mídias sociais e informações de sensores ou dados transmitidos de máquina para máquina. No passado, armazená-los teria sido um problema — mas novas tecnologias (como o Hadoop) aliviaram esse fardo. Velocidade. Os dados são transmitidos numa velocidade sem precedentes e devem ser tratados em tempo hábil. Etiquetas RFID, sensores e medições inteligentes estão impulsionando a necessidade de lidar com torrentes de dados praticamente em tempo real. Variedade. Dados são gerados em inúmeros formatos — desde estruturados (numéricos, em databases tradicionais) a não- estruturados (documentos de texto, e-mail, vídeo, áudio, cotações da bolsa e transações financeiras). Variabilidade. Além das crescentes velocidade e variedade dos dados, seus fluxos podem ser altamente inconsistentes com picos periódicos. Qual a última tendência nas redes sociais? Todos os dias, picos de dados sazonais ou gerados por eventos particulares podem ser difíceis de gerenciar, ainda mais com dados não-estruturados.
Complexidade. Os dados de hoje vêm de múltiplas fontes, o que torna difícil ligá-los, combiná-los, limpá-los e transformá-los entre sistemas. No entanto, é necessário conectar e correlacionar relações, hierarquias e ligações múltiplas, ou você pode rapidamente perder o controle sobre seus dados. O grande potencial do big data A quantidade de dados criados e armazenados globalmente é quase inimaginável, e apenas continua crescendo. Isso significa que há ainda mais potencial para extrair insights importantes dessas informações — embora apenas uma pequena porcentagem dos dados seja realmente analisada. O que isso significa para as empresas? Como elas podem fazer um uso melhor dessas informações brutas que fluem para dentro de suas paredes todos os dias? Qual a importância do big data? A importância do big data não gira em torno da quantidade de dados que você tem, mas do que você faz com eles. Você pode obter dados de várias fontes e analisá-los para encontrar respostas que permitem 1) reduzir custos; 2) economizar tempo; 3) desenvolver novos produtos e otimizar ofertas; 4) tomar decisões mais inteligentes. Quando você combina big data com inteligência analítica de alta performance, você pode realizar tarefas corporativas como: Determinar a causa de falhas, problemas e defeitos quase que em tempo real; Gerar cupons no ponto de venda com base nos hábitos de compra do cliente; Recalcular carteiras de riscos completas em minutos; Detectar comportamentos fraudulentos antes que eles afetem sua organização. Quem está usando big data?
Educadores munidos com insights orientados por dados podem ter um impacto significativo sobre os sistemas escolares, estudantes e currículos. Com a análise de big data, eles podem identificar alunos em risco, assegurar que os estudantes estão progredindo de forma adequada e implementar sistemas melhores de avaliação e apoio aos professores e diretores. Operadoras de saúde Registros de pacientes, planos de tratamento, informações de prescrição. Quando se trata de cuidados com a saúde, tudo precisa ser feito rapidamente, com precisão — e, em alguns casos, com transparência suficiente para satisfazer as regulamentações rigorosas dessa indústria. Quando big data é gerido de modo eficaz, as operadoras de saúde podem descobrir insights escondidos que melhoram o atendimento ao paciente. Varejo Construir relacionamentos com clientes é fundamental para o setor de varejo — e a melhor maneira de gerenciá-los é através do big data. Os varejistas precisam saber a melhor maneira de abordar os clientes, o modo mais eficaz de lidar com transações e o jeito mais estratégico de aumentar o número de negócios repetidos. O big data está no coração de todas essas coisas. Big data em ação: UPS Como uma empresa com muitos ativos e encomendas constantemente em movimento, a UPS armazena uma grande quantidade de dados — muitos deles vindos de sensores em seus veículos. Esses dados não apenas monitoram o desempenho diário, como também desencadearam uma grande reformulção estrutural nas rotas dos motoristas da UPS. A iniciativa foi batizada de ORION (On-Road Integration Optimization and Navigation) e foi, discutivelmente, um dos maiores projetos de pesquisa operacional do mundo. Ele se deu
a partir de dados obtidos de mapas on-line para reconfigurar as cargas e descargas dos motoristas em tempo real. O projeto levou a uma economia de mais de 8,4 milhões de litros de combustível ao cortar 85 milhões de milhas das rotas diárias. A UPS estima que diminuindo apenas uma milha diária de cada motorista, a economia é de US$ 30 milhões para a companhia. Como funciona? Antes de descobrir como o big data pode favorecer seu negócio, você deve entender primeiro de onde vêm os dados. As fontes de big data geralmente se encaixam em uma destas três categorias: Big Data Analytics Você já aprendeu um pouco melhor sobre toda a estrutura que conceitua o Big Data. Agora chegou a hora de falar do trabalho que torna possível todo o cruzamento de dados: o Big Data Analytics. Com o Big Data Analytics extraímos, organizamos, tratamos e compreendemos os dados estruturados e não estruturados. Estamos falando de nada menos que a transformação dos dados em informação útil para você e sua empresa seguirem em frente com maior segurança em uma tomada de decisão. Mostramos um pouco acima que temos 3 tipos de dados – Social data , Enterprise data e Personal data – para explorar e brincar em meio às possibilidades que os dados podem nos trazer. Abaixo cito alguns exemplos de onde podemos pegar dados para então tratá-los gerando os insights que tanto falamos. E-mails : E-mail pode ser uma ótima fonte de dados. Alguns sistemas e ferramentas web enviam por e-mail arquivos com dados de forma
Você sabia que tem diversas empresas já usando o Big Data Analytics para se beneficiar, lucrar e melhorar seus processos? Para provar o que abordamos até o momento, aqui estão algumas empresas que estão utilizando o Big Data e como estão fazendo isso. Transmissão de dados Esta categoria inclui dados que chegam aos seus sistemas de TI a partir de uma rede de dispositivos conectados. Você pode analisá-los no momento em que chegam, e tomar decisões sobre quais dados manter, quais não manter e quais requerem uma análise posterior mais aprofundada. Dados de mídias sociais Os dados de interações sociais são um conjunto cada vez mais atraente de informações, particularmente para marketing, vendas e suporte. São muitas vezes capturados em forma não-estruturada ou semi-estruturada, por isso representam um desafio único quando se trata de seu consumo e análise. Fontes publicamente disponíveis Volumes de dados massivos estão em canais públicos como o dados.gov.br do governo brasileiro, o World Factbook da CIA ou o Portal de Dados Abertos da União Europeia. Após identificar todas as fontes de dados potenciais, considere as decisões que você precisará tomar uma vez que você comece a fazer uso destas informações. Elas incluem: Como armazenar e gerenciar dados Embora o armazenamento de dados teria sido um problema alguns anos atrás, hoje existem opções de baixo custo caso essa seja a melhor estratégia para o seu negócio. Quanto deve ser analisado
Algumas organizações não excluem quaisquer dados de suas análises, o que é possível graças às tecnologias de alta performance de hoje, como computação em grid ou inteligência analítica in-memory. Outra abordagem é determinar antecipadamente quais dados são relevantes antes de analisá-los. Como utilizar os insights descobertos Quanto mais conhecimento você tiver, mais confiante você estará para tomar decisões de negócio. É importante ter uma estratégia desenhada para quando você tiver uma abundância de informações em mãos. O passo final para fazer o big data trabalhar a favor do seu negócio é buscar pelas tecnologias que o ajudarão a tirar melhor proveito dele e de suas análises. Considere: Armazenamento barato e abundante; Processadores mais rápidos; Plataformas de big data open source distribuídas e acessíveis, como o Hadoop; Processamento paralelo, clusterização, MPP, virtualização, grandes ambientes de grid, alta conectividade e altas taxas de transferência; Computação em nuvem e outros arranjos de alocação flexíveis de recursos. TENDÊNCIAS DE BIG DATA Sempre penso muito antes de responder qualquer questão que foi colocada a mim. Por isso, vamos falar um pouco sobre tudo que cerca o assunto antes de grandes definições. Para quem nunca viu, abaixo está uma pesquisa feita no Google Trends. O termo é pesquisado nos EUA desde sempre, mas em 2011 houve uma explosão de pesquisas tanto aqui, quanto lá na terra do Tio Sam.
A cada minuto são feitos uploads de 48 horas de vídeos no Youtube, ou seja, nunca ninguém conseguirá assistir todos os vídeos do Youtube. Diariamente mais de 500 milhões de mensagens são enviadas pelo Twitter, com uma média de 5700 TPS (Twittes per Second ou Mensagens por Segundo), o recorde é de 143.199 TPS. O Google processa diariamente mais de 3 bilhões de pesquisas em todo o mundo, sendo desse total 15% totalmente inéditas. Seu “motor” de pesquisa rastreia 20 bilhões de sites diariamente, armazenando 100 petabytes de informação. Sem contar todas as informações que as companhias geram diariamente, sejam elas estruturadas ou não. O QUE SÃO INFORMAÇÕES ESTRUTURAS E NÃO ESTRUTURADAS? Consideramos: Informações estruturadas – aquelas que possuem algum padrão ou formato que pode ser usado na sua leitura e extração dos dados. Dados de bancos de dados, sistemas legados, arquivos texto (sejam csv, txt ou XML). Informações não estruturadas – não possuem um formato padronizado para leitura, podem ser arquivos Word, Páginas de Internet/Intranet, Vídeos, áudios, entre outros. QUAIS FERRAMENTAS? NÃO ESTÁ FÁCIL ESCOLHER.. Ok, já sabemos o que é o termo, temos uma ideia do que ele faz, mas qual ferramenta devo escolher? Não quero desanimar ninguém, mas olhando abaixo devem ter mais de umas 100 marcas diferentes em categorias de softwares diferentes também.
Onde estudar sobre Big Data Um grande desafio enfrentado na Buscar ID quando iniciamos nossos primeiros passos em Marketing por Dados foi encontrar fontes confiáveis para estudar sobre o assunto, que ainda é muito pouco abordado. Mas uma boa notícia para você é que filtramos alguns portais gratuitos e pagos para aprimorar ainda mais seus conhecimentos nesse mundo analítico apaixonante. Vamos lá! Udacity – Portal com diversas aulas sobre análise de dados, Machine learning e outras novas tecnologias com aulas de profissionais de empresas como Google, Adobe, Amazon, at&t entre várias outras gigantes do vale do silício. $$$ – Existem aulas gratuitas e pagas Big data University – Esse foi um dos últimos sites que encontramos e estudamos por ele até hoje. Excelente fonte de conhecimento. Muito completo! $$$ – GRATUITO Big data University Brasil – Versão brasileira do Big Data University. Excelente fonte de conhecimento. Utilizamos até hoje na Buscar ID.
Para exibir as publicidades com maior relevância para cada usuário, empresas como Google e Facebook utilizam informações como idade, sexo, grau de escolaridade, número de amigos e, principalmente, temas de interesse, baseados nos "likes" em posts na rede social ou palavras-chave utilizadas em uma busca na Internet.
4. A soma totais dos dados digitais no mundo já é medida em zettabytes (que corresponde a 1.000.000.000.000.000.000.000). Como se prevê o futuro do armazenamento de tanta informação? O caminho mais lógico é a migração das empresas para servidores na Nuvem (Cloud Storage), ou seja, as informações ficariam arquivadas na Internet – daí vem a alusão ao termo "nuvem" – com acesso remoto. 5. Que aplicações o Big Data pode ter em decisões de empresas ou do poder público? São muitas as possibilidades de uso do Big Data. Ele pode ter impacto interessante em políticas públicas, como é o caso do Diário Livre, que surgiu de uma parceria entre a Controladoria Geral do Município de São Paulo e a Universidade de São Paulo (USP). O projeto tem a intenção de ampliar a transparência das informações municipais disponibilizando os dados publicados no Diário Oficial da Cidade de São Paulo e dando ao público a possibilidade de realizar pequenas consultas. É possível, por exemplo, listar todos os funcionários indicados para cargos de comissão e cruzar essa listagem com denúncias de corrupção ou com processos abertos. Outro projeto interessante é o Global Pulse, das Nações Unidas, que vai utilizar um programa que decifra a linguagem humana na análise de mensagens de texto e posts em redes sociais para prever o aumento do desemprego e de doenças, por exemplo. Por parte das empresas, é possível analisar as base de clientes, vendas e atendimento, por exemplo, e assim oferecer produtos e soluções mais coerentes para cada cliente sem desperdiçar dinheiro com publicidade e aumentando a probabilidade de venda deste produto.
6-) Em relação a Big Data e NoSQL, é correto afirmar que a) os “3 Vs" principais do Big Data referem-se a Volume, Velocidade e Versatilidade de dados. b) na era do Big Data, as únicas estratégias eficientes para garantir a privacidade são consentimento individual, opção de exclusão e anonimização. c) o Hadoop, o mais conhecido e popular sistema para gestão de Big Data, foi criado pela IBM, a partir de sua ferramenta de Data Mining WEKA. d) o NoSQL é um sistema relacional, distribuído, em larga escala, muito eficaz na organização e análise de grande quantidade de dados. e) o Cassandra é um sistema de banco de dados baseado na abordagem NoSQL, originalmente criado pelo Facebook, no qual os dados são identificados por meio de uma chave. (correta) 7-) Em soluções Big Data , a análise dos dados comumente precisa ser precedida de uma transformação de dados não estruturados em dados estruturados a) certo (correta) b) errado
