Leve embora:
A plataforma de análise Hadoop tem algumas limitações significativas que envolvem velocidade e complexidade, mas os líderes do setor estão trabalhando para mudar isso.
No momento, diz Mike Olson, CEO da Cloudera, a plataforma de análise Hadoop tem algumas limitações significativas que envolvem velocidade e complexidade. No entanto, os líderes do setor - incluindo os de sua própria empresa - estão trabalhando para mudar isso, confiantes de que essa ferramenta de pesquisa evoluirá de maneiras fundamentais nos próximos anos.Na Conferência Strata do ano passado, Olson pediu que o público imaginasse como, se fosse criado hoje, o Hadoop seria projetado de maneira diferente, afirmando que algumas mudanças específicas poderiam abrir novos portais para pesquisas em áreas como educação, energia e agricultura. Citando o cosmólogo e autor científico Carl Sagan, Olson enfatizou a importância de quebrar dados de alto nível para um público maior.
"Acho que estamos à beira de grandes descobertas importantes para os negócios e a sociedade", disse Olson.
Um exemplo, observou ele, é a descoberta científica possibilitada pelo trabalho de profissionais científicos no Large Hadron Collider na Suíça. De acordo com Olson, é a avaliação diária de 37 terabytes de dados que levou a avanços importantes, como a descoberta de Higgs-Boson, que revelou aspectos importantes de matéria e energia. Olson acrescentou que o Hadoop ajuda a ajudar nesses projetos de pesquisa fundamentais, capturando uma enorme quantidade de dados em um único repositório, mas é difícil interagir com esses dados em tempo real.
Expondo as maneiras pelas quais o Hadoop e tecnologias similares podem ajudar cientistas em áreas-chave, como assistência médica, Olson também anunciou o projeto Impala, algo em que sua empresa trabalha há dois anos, com dois quartos de testes beta em coordenação com os principais clientes. O projeto Impala, disse Olson, é uma tecnologia "100% open source" com licenciamento Apache que funciona com o Hadoop como um "mecanismo de consulta em tempo real". Olson disse que isso permite o que ele chama de "consultas de velocidade de pensamento", onde os usuários podem fazer uma pergunta, obter uma resposta e formular uma nova pergunta para usar efetivamente os principais agrupamentos de dados.
"Ele fornece uma nova maneira de obter seus dados", disse Olson, descrevendo como esse tipo de avanço poderia abrir oportunidades adicionais para resolver grandes problemas nos EUA e no exterior.