Contente
- ETL cria gargalos para o Analytics
- Simplificando o ETL com Machine Learning e IA
- Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
Fonte: Pop Nukoonrat / Dreamstime.com
Leve embora:
Os dados são cruciais para os negócios, mas para que sejam úteis, não deve haver erros na coleta, processamento e apresentação desses dados. A inteligência artificial pode monitorar os processos ETL para garantir que não apresentem erros.
O ETL (extrair, transformar e carregar) é um dos processos mais importantes na análise de big data - e, simultaneamente, pode ser um dos seus maiores gargalos. (Para saber mais sobre big data, confira 5 cursos úteis sobre big data que você pode fazer on-line.)
O motivo pelo qual a ETL é tão importante é que a maioria dos dados que uma empresa coleta não está pronta, em sua forma bruta, para uma solução de análise. Para que uma solução de análise crie insights, os dados brutos precisam ser extraídos do aplicativo em que residem atualmente, transformados em um formato que um programa de análise possa ler e, em seguida, carregado no próprio programa de análise.
Este processo é análogo ao cozimento. Seus ingredientes crus são seus dados brutos. Eles precisam ser extraídos (comprados em uma loja), transformados (cozidos) e depois carregados (galvanizados), antes de serem analisados (provados). A dificuldade e a despesa podem aumentar de forma imprevisível - é fácil fazer queijo mac 'com você, mas é muito mais difícil criar um menu gourmet para 40 pessoas em um jantar. Escusado será dizer que um erro a qualquer momento pode tornar sua refeição indigesta.
ETL cria gargalos para o Analytics
A ETL é, de certa forma, a base do processo de análise, mas também tem algumas desvantagens. Primeiro de tudo, é lento e computacionalmente caro. Isso significa que as empresas geralmente priorizam apenas os dados mais importantes para análise e simplesmente armazenam o restante. Isso contribui para o fato de que até 99% de todos os dados corporativos não são utilizados para fins de análise.
Além disso, o processo ETL nunca é certo. Erros no processo ETL podem corromper seus dados. Por exemplo, um breve erro de rede pode impedir a extração de dados. Se os dados de origem contiverem vários tipos de arquivos, eles poderão ser transformados incorretamente. Lixo para dentro, lixo para fora, como eles dizem - os erros durante o processo de ETL quase certamente se expressam em termos de análises imprecisas.
Um processo ETL corrompido pode ter consequências ruins. Mesmo no melhor cenário, você provavelmente precisará executar novamente o ETL, o que significa um atraso de horas - e, enquanto isso, seus tomadores de decisão estão impacientes. Na pior das hipóteses, você não percebe as análises imprecisas até começar a perder dinheiro e clientes.
Simplificando o ETL com Machine Learning e IA
Você pode - e provavelmente o faz - designar alguém para monitorar o ETL, mas honestamente não é assim tão simples. Dados incorretos podem resultar de erros de processo que ocorrem tão rapidamente que não podem ser notados em tempo real. Os resultados de um processo ETL corrompido geralmente não parecem diferentes dos dados carregados corretamente. Mesmo quando os erros são óbvios, o problema que criou o erro pode não ser tão fácil de rastrear. (Para saber mais sobre a análise de dados, consulte Função da tarefa: analista de dados.)
A boa notícia é que as máquinas podem pegar o que os humanos não conseguem. Essas são apenas algumas maneiras pelas quais a IA e o aprendizado de máquina podem detectar erros de ETL antes de se transformarem em análises imprecisas.
Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
Você não pode melhorar suas habilidades de programação quando ninguém se importa com a qualidade do software.
1. Detectar e alertar através de métricas ETL
Mesmo que seus dados sejam uma imagem em constante movimento, o processo ETL ainda deve produzir valores consistentes a uma velocidade consistente. Quando essas coisas mudam, é motivo de alarme. Os seres humanos podem ver grandes variações nos dados e reconhecer erros, mas o aprendizado de máquina pode reconhecer falhas mais sutis, mais rapidamente. É possível que um sistema de aprendizado de máquina ofereça detecção em tempo real de anomalias e alerte diretamente o departamento de TI, permitindo que eles pausem o processo e corrijam o problema sem ter que descartar horas de esforço computacional.
2. Identifique gargalos específicos
Mesmo que seus resultados sejam precisos, eles ainda podem sair muito lentamente para serem úteis. O Gartner diz que 80% de insights derivadas da análise nunca serão aproveitadas para criar valor monetário, e isso pode ser porque um líder de negócios não consegue ver uma ideia a tempo de tirar proveito disso. O aprendizado de máquina pode indicar onde seu sistema está desacelerando e fornecer respostas - fornecendo dados melhores e mais rápidos.
3. Quantifique o impacto do gerenciamento de mudanças
Os sistemas que produzem seus dados e análises não são estáticos - eles constantemente recebem correções e atualizações. Às vezes, elas afetam a maneira como produzem ou interpretam dados - levando a resultados imprecisos. O aprendizado de máquina pode sinalizar resultados que foram alterados e rastreá-los para a máquina ou aplicativo corrigido específico.
4. Reduza o custo das operações
Operações de análise paralisadas equivalem a dinheiro perdido. O tempo que você gasta tentando descobrir não apenas como resolver o problema, mas também quem é responsável para resolver o problema, é hora de gastar um valor agregado. O aprendizado de máquina ajuda a chegar ao cerne da questão, alertando apenas as equipes que podem ser responsáveis por responder a tipos específicos de incidentes, deixando o restante do departamento de TI livre para continuar executando as principais funções do trabalho. Além disso, o aprendizado de máquina ajudará a eliminar falsos positivos, reduzindo o número geral de alertas e aumentando a granularidade de informações que eles podem fornecer. A fadiga de alerta é muito real, portanto, essa mudança terá um impacto mensurável na qualidade de vida.
Quando se trata de ganhar nos negócios, a análise é crucial. Um estudo de referência da Bain Capital mostra que as empresas que empregam análises têm mais que o dobro de desempenho financeiro. O ETL fornece a base para o sucesso nessa área, mas atrasos e erros também podem impedir o sucesso de um programa de análise. O aprendizado de máquina, portanto, se torna uma ferramenta inestimável para o sucesso de qualquer programa de análise, ajudando a garantir dados limpos e resultados precisos.