Descobrindo o roubo de dados usando o Hadoop e o Big Data

Autor: Roger Morrison
Data De Criação: 20 Setembro 2021
Data De Atualização: 9 Poderia 2024
Anonim
Big Data Analytics - Aula 1 - Dados e o Mercado Financeiro
Vídeo: Big Data Analytics - Aula 1 - Dados e o Mercado Financeiro

Contente


Fonte: Ximagination / Dreamstime.com

Leve embora:

Os poderes combinados do big data e do Hadoop estão sendo combinados para identificar o roubo de dados - e acabar com isso.

Atualmente, o risco de roubo de dados devido à exposição de dados em empresas e órgãos governamentais aumentou drasticamente, com novos casos sendo identificados todos os dias. Esse tipo de roubo de dados pode ser um grande golpe para as organizações, pois revelam informações confidenciais e resultam na perda de grandes somas de dinheiro. Os dados não podem ser protegidos com tanta facilidade, e mesmo muitas técnicas avançadas falham em campo. A coisa mais assustadora sobre esses roubos é que eles são extremamente difíceis de detectar. Às vezes, pode demorar vários meses ou até anos para detectá-los. É por isso que as organizações devem tomar medidas poderosas que garantirão que seus dados sempre permaneçam seguros. Um desses métodos é usar uma combinação de Hadoop e big data para a detecção de sites criminosos fraudulentos e também para alertar outras organizações.


Por que precisamos proteger os dados?

Como afirmado anteriormente, novas instâncias de roubo de dados são relatadas todos os dias. Esses tipos de roubo de dados podem ocorrer em qualquer empresa, seja uma organização governamental, comercial ou mesmo um site de namoro. Estima-se que apenas o roubo de dados possa resultar na perda de capital substancial. Quanto você pode perguntar? Cerca de US $ 455 bilhões anualmente!

Embora os sistemas de segurança atuais que as empresas usam possam combater alguns tipos de técnicas simples de roubo de dados, eles ainda não podem combater tentativas ou ameaças mais complexas dentro das organizações. Além disso, como esses casos levam muito tempo para serem identificados, os criminosos podem manipular facilmente as brechas dos sistemas de segurança.

Como combater essas ameaças

À medida que o número e a complexidade desses tipos de roubo de dados aumentam, os hackers estão encontrando novas técnicas para manipular os sistemas de segurança. Portanto, as organizações que mantêm dados confidenciais importantes devem alterar suas arquiteturas de segurança atuais, capazes de responder apenas a ameaças mais simples. Somente uma solução prática pode ser útil para evitar esse tipo de roubo. Uma empresa deve estar pronta para qualquer tipo de roubo, para o qual precisará planejar com antecedência. Isso permitirá que eles respondam rapidamente a essa situação e resolvam-na.


Muitas empresas tomaram a iniciativa de fornecer soluções que permitirão que outras empresas protejam seus dados contra ladrões. Um exemplo dessa empresa é o Terbium Labs, que usa o novo método de utilizar big data e o Hadoop para detectar e responder efetivamente a essas ameaças.

Como a nova técnica da Terbium pode ajudar na proteção de dados?

A técnica que a Terbium utiliza para ajudar as empresas a responder rapidamente às ameaças é chamada Matchlight. Essa poderosa tecnologia pode ser usada para varrer a Web, incluindo suas partes ocultas, para encontrar qualquer tipo de dados confidenciais. Se encontrar esses dados, eles serão imediatamente relatados ao usuário. Este aplicativo também é altamente preciso. Na verdade, ele cria assinaturas exclusivas dos dados confidenciais da empresa, chamados de "dedos". Depois de gerar as assinaturas exclusivas dos dados confidenciais da empresa, o aplicativo faz a correspondência exata dos dados com os "dedos" dos dados encontrados na Web. Portanto, esse aplicativo de big data pode ser usado para identificar efetivamente instâncias de roubo de dados, procurando evidências na Web. Se os dados forem encontrados em locais diferentes dos autorizados, como na Internet, Dark Web ou no site de uma empresa concorrente, eles informarão imediatamente a empresa controladora sobre as informações roubadas e sobre sua localização.

Tecnologia "dedilhado"

O Matchlight incorpora uma tecnologia especial chamada dedilhado, com a qual pode combinar grandes quantidades de dados sem aborrecimentos. O aplicativo primeiro encontra os dedos dos dados confidenciais. Depois disso, ele é armazenado em seu banco de dados e comparado regularmente com os dados de dedos coletados na Internet. Esses dados agora podem ser usados ​​para detectar a exposição de dados na Web. Se uma assinatura de dados correspondente for encontrada, ela alertará automaticamente a empresa cliente, que pode implementar suas medidas de segurança planejadas imediatamente.

Que tipos de dados ele cobre?

Qualquer tipo de dado pode ser encontrado pelo Matchlight. Isso pode incluir arquivos de imagens, documentos, aplicativos e até códigos. A solução é tão poderosa que pode processar conjuntos de dados inteiros e altamente complexos de uma só vez. Por esse motivo, muitas empresas estão usando o Matchlight para segurança de dados, e o banco de dados atual da Terbium contém mais de 340 bilhões de dedos, o que aumenta todos os dias.

Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida

Você não pode melhorar suas habilidades de programação quando ninguém se importa com a qualidade do software.

Como o Hadoop ajuda?

Para lidar efetivamente com a grande quantidade de dados no banco de dados, a Terbium exigiu uma poderosa plataforma de processamento de big data. Eles escolheram o Hadoop para isso. No entanto, eles precisavam de uma versão rápida e eficiente do Hadoop que pudesse ser usada para o processamento eficaz de big data. Para isso, eles pensaram que a distribuição do Hadoop para empresas executando no código nativo seria a opção mais adequada. Eles não escolheram uma versão da JVM, pois tornou a distribuição pesada em recursos.

O cofundador da Terbium, Sr. Danny Rogers, observou a importância do Hadoop. Ele disse que a eficiência do Matchlight depende da eficiência da coleta de dados, que depende do Hadoop. Isso mostra a importância do Hadoop para garantir a segurança dos dados nas organizações.

Perspectivas do Hadoop no campo da segurança de dados

O térbio está rapidamente ganhando popularidade, e algumas grandes empresas da Fortune 500 já começaram a usar o serviço Matchlight para rastrear dados roubados. Essas empresas incluem empresas de assistência médica, provedores de tecnologia, bancos e outros provedores de serviços financeiros. Os resultados também são surpreendentes. As empresas recuperaram cerca de 30.000 registros de informações de cartão de crédito e 6.000 novos endereços que foram roubados pelos atacantes, e tudo isso nos primeiros segundos do primeiro dia. Aparentemente, eles estavam à venda na Dark Web.

Benefícios do uso do Hadoop para descobrir dados roubados

Um tipo tão poderoso de integração entre o aprendizado de máquina, os bancos de dados baseados na nuvem e a versão Hadoop de nível empresarial altamente confiável e precisa pode beneficiar as empresas de várias maneiras. Esses bancos de dados baseados em nuvem poderão acumular uma grande quantidade de dados, que serão utilizados pelo aplicativo, com a ajuda do Hadoop, para corresponder às assinaturas pela Internet em segundos. Assim, o Hadoop poderá melhorar bastante a velocidade da pesquisa geral. Por esse motivo, as empresas poderão encontrar seus dados roubados em um tempo muito curto, isto é, em alguns segundos, em vez do tempo médio atual de pesquisa necessário, que é de 200 dias.

Por que apenas distribuição MapR?

O Matchlight usa apenas a distribuição MapR do Hadoop. Isto é devido a uma variedade de razões. O primeiro motivo é que a versão corporativa do Hadoop é executada no código nativo e, como resultado, utiliza efetivamente todos os recursos facilmente. Ele também usa muito pouco custo para armazenamento, considerando que é baseado em nuvem. Além disso, é extremamente rápido, portanto, pode ajudar facilmente no gerenciamento de um grande número de dedos de dados. Oferece muitos recursos adicionais de nível empresarial, como segurança de ponta, alta confiabilidade e fácil backup e recuperação.

Conclusão

O Hadoop está provando ser extremamente útil no campo da segurança de dados nas organizações. Muitas empresas usam o MapR para gerenciar dados com eficiência e planejar a execução, em caso de roubo de dados.Muitas empresas novas também estão surgindo, que prometem proteger os dados dessas organizações e até identificam o roubo de dados em questão de segundos em vez de meses.