Contente
Fonte: Nmedia /Dreamstime.com
Leve embora:
Big data é um grande negócio em todos os lugares, mas algumas áreas específicas são as que mais aproveitam essa tecnologia.
Quando iniciei este artigo, planejava listar os diferentes tipos de plataformas de big data. Mas, após três dias de tentativa de encurralar todas as diferentes ofertas de big data - relacional versus não relacional, SQL versus NoSQL e banco de dados versus estrutura - em alguma aparência, decidi evitar essa bagunça.
Para acrescentar insulto à lesão, esperava apresentar a pessoa que cunhou o termo "big data" como parte do artigo. Mas eu nem consigo fazer isso. Não há resposta acordada. De fato, há um projeto de pesquisa completo investigando quem criou o big data originalmente. Em vez disso, vou dar uma olhada em algumas das principais maneiras pelas quais o big data é usado. Isso é muito mais importante. E é mais interessante e surpreendente do que você imagina.
Como isso aconteceu
Analistas que usam mineração de dados tradicional vêm manipulando dados há anos. Agora, esses mesmos analistas têm dificuldade em lidar com a quantidade e a variedade de dados salvos por empresas, organizações privadas e agências governamentais.
Digite big data, o próximo passo evolutivo na mineração de dados. O big data foi projetado para lidar com bancos de dados maciços e inúmeros tipos de dados que estão sendo criados no mundo digital de hoje. Se "maciço" você pensa no Google e em todos os dados que ele coleta, você estaria no campo. O que pode surpreendê-lo é que o Google é apenas o quarto na lista dos dez melhores dos maiores bancos de dados do mundo. Em janeiro de 2014, o World Data Center for Climate encabeçou a lista com 220 terabytes de dados, e é possível adivinhar o tamanho dos bancos de dados controlados por certas agências governamentais.
Obviamente, o big data decolou porque torna possível manipular grandes quantidades de dados diferentes e descobrir coisas incríveis - e incrivelmente detalhadas e pessoais. John Sumser, analista do setor de RH, fornece o seguinte exemplo:
"Hoje criamos hipóteses e coletamos dados. Amanhã estaremos fazendo o inverso. A acumulação constante e constante de dados nos permitirá analisar os dados antes de formarmos perguntas. Isso significa que teremos respostas para as perguntas que não fizemos". Não sei perguntar. Estaremos pensando um monte de coisas que supomos serem fatos ".Obviamente, todos já ouvimos falar de algumas das maneiras assustadoras que esses dados foram utilizados, como a capacidade do Targets de discernir a gravidez de uma jovem antes que sua família descubra. Mas o big data também está sendo usado por causas muito menos sinistras. Aqui estão algumas organizações que mais a alavancam:
Você não pode melhorar suas habilidades de programação quando ninguém se importa com a qualidade do software.
Uma área óbvia que o big data ajudará é lidar com registros eletrônicos de saúde com segurança e precisão nas organizações médicas. Ter registros precisos proporcionará aos pacientes um melhor atendimento e diminuirá os erros. O campo da assistência médica, por razões óbvias, está adaptando o big data em um ritmo mais lento, a fim de estar em conformidade com as regulamentações governamentais em relação à confidencialidade do paciente.
Como mencionado anteriormente, o big data é conhecido por fornecer respostas para perguntas não feitas. No campo da saúde, isso pode significar encontrar um novo medicamento ou tratamento que não seria encontrado de outra forma. De acordo com a McKinsey & Company, o big data pode possibilitar o seguinte em um futuro não tão distante:
- A modelagem preditiva de processos e medicamentos biológicos se torna mais sofisticada e difundida.
- Os pacientes são identificados para se inscrever em ensaios clínicos com base em mais fontes de informação, como mídias sociais.
- Os ensaios são monitorados em tempo real para identificar rapidamente problemas operacionais ou de segurança.
- Em vez de silos rígidos de dados difíceis de explorar, os dados são capturados eletronicamente e fluem facilmente entre diferentes unidades.
Big Data, Grande Oportunidade
Enquanto o big data está sendo aproveitado em algumas áreas específicas, oferece oportunidades para todas as organizações nas seguintes áreas:
Praticamente qualquer dispositivo de computação e rede registra dados. A quantidade de dados registrados rapidamente se torna pesada. O big data pode gerenciar facilmente essa quantidade de dados, permitindo que os administradores monitorem a atividade da rede, diagnosticem problemas ou, no exemplo que Rubin me deu, procurem certos padrões de tráfego de rede que indicariam atividade de malware.
Se você está lendo este artigo, é uma aposta bastante segura que você esteja ciente do problema do Heartbleed em torno do OpenSSL. Além do problema técnico, existe a preocupação de que a vulnerabilidade exista há vários anos. Rubin mencionou que o big data permite que os administradores de rede, trabalhando com analistas de dados, criem um programa que pesquisará todos os logs da rede em busca de pulsações maliciosas. Esta publicação do FEP menciona:
"Qualquer operador de rede que possua logs extensos de pacotes pode verificar batimentos cardíacos maliciosos, que geralmente têm uma carga útil TCP de 18 03 02 00 03 01 ou 18 03 01 00 03 01 (ou talvez 18 03 03 00 03 01)".O exemplo a seguir é uma amostra de saída do comando show audit:
Router # show audit
* 14 de setembro 18: 37: 31.535:% AUDIT-1-RUN_VERSION: Hash:
24D98B13B87D106E7E6A7E5D1B3CE0AD Usuário:
* 14 de setembro 18: 37: 31,583:% AUDIT-1-RUN_CONFIG: Hash:
4AC2D776AA6FCA8FD7653CEB8969B695 Usuário:
* 14 de setembro 18: 37: 31.595:% AUDIT-1-STARTUP_CONFIG: Hash:
95DD497B1BB61AB33A629124CBFEC0FC Usuário:
* Sep 14 18: 37: 32.107:% AUDIT-1-FILESYSTEM: Hash:
330E7111F2B526F0B850C24ED5774EDE Usuário:
* 14 de setembro 18: 37: 32.107:% AUDIT-1-HARDWARE_CONFIG: Hash:
32F66463DDA802CC9171AF6386663D20 Usuário:
Se você seguir os carimbos de hora, o intervalo de tempo para todas essas entradas será menor que um segundo. Eu nem gostaria de extrapolar isso por um dia, muito menos por dois anos!
Algo para assistir
Se você verificar os anúncios de emprego, há uma necessidade extrema de especialistas em big data. Eu perguntei a Rubin sobre isso. Ele concordou, mencionando que seus alunos estavam animados com suas perspectivas. Percebi então que as plataformas de big data, em particular aquelas consideradas de código aberto, seguem uma linha do tempo muito semelhante à forma como o Linux se tornou popular.
As universidades adotam versões de código aberto das plataformas de big data, em particular o Hadoop, porque são gratuitas e os alunos podem manipular o código-fonte. Portanto, os graduados que preenchem todas essas vagas de emprego preferem trabalhar com plataformas de código aberto, pois é o que sabem melhor. Será interessante assistir.