Contente
- Três Vs de big data
- Abordando o problema da variedade de dados
- Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
Leve embora:
Muitos departamentos de TI jogam tudo o que têm nas questões de volume e velocidade de dados, esquecendo de abordar a questão fundamental da variedade de dados.
O desafio de gerenciar e alavancar big data vem de três elementos, de acordo com Doug Laney, vice-presidente de pesquisa da Gartner. Laney observou pela primeira vez há mais de uma década que o big data representa um problema para a empresa porque apresenta volume, velocidade e variedade difíceis de gerenciar. O problema é que muitos departamentos de TI jogam tudo o que têm nas questões de volume e velocidade de dados, esquecendo-se de abordar a questão fundamental da variedade de dados.
Em 2001, Laney escreveu que "as empresas líderes usarão cada vez mais um data warehouse centralizado para definir um vocabulário comercial comum que aprimora a colaboração interna e externa". A questão desse vocabulário - e a variabilidade que impede as empresas de criá-lo - continuam sendo o aspecto menos abordado do enigma do big data atualmente. (Confira o que outros especialistas têm a dizer. Confira Especialistas em Big Data a seguir.)
Três Vs de big data
Inúmeras empresas encontraram métodos para aproveitar o aumento do volume e da velocidade dos dados. , por exemplo, pode analisar enormes volumes de dados. Obviamente, esses dados são frequentemente apresentados repetidamente dentro dos mesmos parâmetros. Isso levou a inovações tecnológicas, como bancos de dados de coluna, que agora são amplamente utilizados por outras empresas que enfrentam lojas igualmente consideráveis de itens de dados semelhantes.
Em termos de velocidade de doma, fornecedores como o Splunk ajudam as empresas a analisar dados criados rapidamente através de arquivos de log que capturam milhares de eventos por segundo. Essa análise de eventos de alto volume é direcionada a casos de uso de monitoramento de segurança e desempenho. Assim como no desafio do volume de dados, o desafio da velocidade foi amplamente abordado por meio de técnicas sofisticadas de indexação e análise de dados distribuída que permitem que a capacidade de processamento seja dimensionada com maior velocidade de dados.
No entanto, quando se trata de variedade, muitas empresas ainda enfrentam um grande problema em sua abordagem à análise de big data. Esse problema é motivado por três fatores: primeiro, devido ao crescimento, aquisições e inovações tecnológicas que adicionam novos sistemas ao ambiente, as empresas estão trancadas em um ambiente altamente heterogêneo e essa heterogeneidade só aumenta com o tempo. As empresas precisam rastrear uma infinidade de tipos de sistemas e gerenciar dezenas de milhares de tipos de dados, bem como os mesmos dados sendo representados usando diferentes nomenclaturas e formatos.
Segundo, esses sistemas e tipos de dados em muitos casos relatam informações relevantes e informações que podem ser filtradas com segurança como irrelevantes para o problema abordado. É necessário identificar informações impactantes de maneira confiável.
A terceira dimensão do desafio da variedade é a constante variabilidade ou mudança no ambiente. Os sistemas são atualizados, novos sistemas são introduzidos, novos tipos de dados são adicionados e nova nomenclatura é introduzida. Isso prejudica ainda mais nossa capacidade de domar o desafio da variedade de dados. Isso adiciona uma camada adicional ao desafio da variedade. (Para mais informações, consulte Big Data: como é capturado, compactado e usado para tomar decisões de negócios.)
Abordando o problema da variedade de dados
Para resolver o problema da variedade de dados, as empresas devem começar com o domínio de TI, pois geralmente representa os piores criminosos e as piores vítimas do problema da variedade. O primeiro passo é começar com uma definição abrangente ou taxonomia de todos os elementos ou ativos de TI. Isso fornece uma linha de base ou base para se referir a qualquer coisa na TI ou sobre ela e permite que as empresas gerenciem a crescente heterogeneidade em relação a uma taxonomia ou terminologia conhecida.
Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
Você não pode melhorar suas habilidades de programação quando ninguém se importa com a qualidade do software.
O próximo passo é identificar as inúmeras maneiras pelas quais o mesmo objeto é representado em diferentes sistemas de registro. Isso permite que os profissionais de TI analisem seu ambiente heterogêneo e filtrem e compactem os dados em pedaços relevantes e gerenciáveis.
Por fim, os gerentes de TI devem adotar um processo de constante exame do ambiente em busca de mudanças, como novos tipos de elementos que estão sendo introduzidos ou nova nomenclatura para se referir ao mesmo elemento.
Com essas etapas, as organizações de TI podem gerenciar o problema da variedade e obter insights profundos que historicamente escapam às equipes de TI. Além disso, o gerenciamento do problema da variedade melhora enormemente o retorno do investimento em ferramentas e técnicas que tratam dos problemas mais tradicionais de volume e velocidade de big data.