Contente
- Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
- Para baixo aos negócios
- Como Kafka mudará o gerenciamento de dados
Leve embora:
Kafka fará pelos sistemas de informação o que o LinkedIn faz pelas pessoas de negócios: mantenha-as conectadas em diversas faixas.
Crendo apaixonadamente em algo que ainda não existe, nós o criamos. O inexistente é o que não desejamos suficientemente.~ Franz Kafka
A necessidade continua sendo a mãe da invenção. Como um consultor astuto me disse uma vez: "Se há algo que precisa acontecer em uma organização, está acontecendo." Seu argumento era duplo: 1) algumas pessoas sempre encontrarão uma maneira de fazer as coisas; e 2) a gerência sênior, ou mesmo a gerência intermediária, pode muito bem desconhecer exatamente como as coisas estão sendo feitas em seu próprio estabelecimento.
Se estendermos essa metáfora a todo o universo de gerenciamento de dados, poderemos ver uma transformação ocorrendo agora. A pressão bruta do big data, combinada com o eixo do fluxo de dados, cria tanta pressão que os sistemas legados estão se desgastando nas bordas, se não totalmente em colapso. No entanto, existem inúmeros profissionais realizando seus trabalhos neste momento, que desconhecem amplamente essa realidade.
As empresas controladas por dados e controladas por dados têm um lugar na primeira fila e estão, de várias maneiras, impulsionando essa mudança. Considere como potências como Yahoo !, e LinkedIn viraram o setor de software corporativo de lado com suas prodigiosas doações para código-fonte aberto: Hadoop, Cassandra e agora Kafka, que foram pastoreados pela Apache Foundation, que é um participante central nessa metamorfose. .
Qual é o resultado de toda essa mudança? O que testemunhamos hoje é a reclassificação e reestruturação categórica do próprio gerenciamento de dados. Isso não quer dizer que agora os sistemas legados sejam arrancados e substituídos. Qualquer veterano do setor lhe dirá que a dissolução por atacado de sistemas legados acontece com a mesma frequência que os Chicago Cubs vencem a World Series. É um evento raro, para dizer o mínimo.
O que realmente está acontecendo é que uma superestrutura está sendo construída em todo o mundo antigo. Considere a analogia das rodovias interestaduais, que frequentemente se erguem acima das cidades e vilas que servem, projetadas para transportar pessoas e carga para esses centros populacionais e proporcionar saída a qualquer pessoa e qualquer coisa dentro deles. Eles não substituem as estradas existentes, mas as aumentam com alternativas de alta velocidade.
É exatamente isso que o Apache Kafka faz: fornece rotas de alta velocidade para movimentação de dados entre e entre sistemas de informação. Para seguir a analogia da rodovia, ainda existem muitas empresas que usam filas lineares, ou o antigo padrão de ETL (extrair-transformar-carregar); mas esses caminhos têm limites de velocidade baixos e existem muitos buracos; além disso, os custos de manutenção costumam ser exorbitantes; sinalização é ruim.
A Kafka oferece um método alternativo para a entrega de dados, que é decididamente em tempo real, escalável e durável. Isso significa que Kafka não é apenas um veículo de movimentação de dados, mas também um replicador de dados; e até certo ponto, uma tecnologia de banco de dados distribuído. Devemos tomar cuidado ao levar a analogia longe demais, pois existem características de bancos de dados compatíveis com ACID que Kafka ainda não possui. Ainda assim, a mudança é real.
Essa é uma ótima notícia para o cenário das informações, porque os dados agora estão livres para circular pelo país - e pelo mundo, nesse sentido. O que antes era uma restrição dolorosa, ou seja, atingir janelas de lote para processos ETL, agora está se dissipando da mesma maneira que a névoa dá lugar a céus claros sob o brilho de um sol quente. Quando a transferência de dados de um sistema para outro se torna limítrofe, ocorre uma era de novas oportunidades.
Sem erros, sem estresse - seu guia passo a passo para criar software que muda vidas sem destruir sua vida
Você não pode melhorar suas habilidades de programação quando ninguém se importa com a qualidade do software.
Os seres humanos provavelmente representarão o maior atrito no caminho para obter novos dados no futuro. Velhos hábitos morrem com dificuldade. Nenhum CIO fica muito empolgado em fazer mudanças totais nos sistemas corporativos. Disse um executivo sênior experiente da função: "Prepare-se para ficar sozinho". Dentro de um ano desse comentário, ele era consultor. Não é um caminho fácil, tentando gerenciar o mundo notavelmente pesado de dados corporativos.
A boa notícia é que Kafka fornece uma rampa para o futuro. Por servir como um barramento multifacetado de alta potência, ele cria pontes entre os sistemas legados e suas contrapartes voltadas para o futuro. Assim, as organizações que abraçarem esta nova oportunidade com mente aberta e orçamento suficiente poderão entrar no novo mundo, sem deixar para trás o antigo. Isso é realmente um grande negócio.
Para baixo aos negócios
Embora o Apache Kafka seja uma tecnologia de código aberto, gratuita para qualquer um baixar e usar, as pessoas que criaram esse software para o LinkedIn criaram uma entidade separada chamada Confluent, que se concentra em fortalecer a oferta para uso corporativo. Assim como Cloudera, Hortonworks e MapR construíram seus negócios em torno do projeto de código aberto do Apache Hadoop, então o Confluent procura monetizar Kafka.
Em uma entrevista recente da InsideAnalysis, o CEO e cofundador da Confluent, Jay Kreps, explicou sua origem no LinkedIn:
"Estávamos tentando resolver alguns problemas diferentes. Um deles era que tínhamos todos esses sistemas de dados diferentes com diferentes tipos de dados. Tínhamos bancos de dados e arquivos de log, métricas sobre servidores e usuários clicando nas coisas". Obter todos esses dados - à medida que aumentavam - era realmente difícil.O poder dos dados estava lá apenas se você pudesse obtê-los para os aplicativos, o processamento ou os sistemas que precisavam. Esse era um grande problema.
"O outro problema que tivemos foi a adoção do Hadoop, e isso era algo em que eu estava envolvido. Tínhamos essa fantástica plataforma de processamento offline que poderíamos dimensionar e colocar todos os nossos dados. Para o LinkedIn, todos os nossos dados ocorreram de verdade Houve geração contínua de dados. Sempre houve essa incompatibilidade quando tentamos criar partes-chave dos negócios com base em nossos dados; entre algo que era executado uma vez por dia, talvez à noite, e gerava resultados no dia seguinte, e esse tipo de dados contínuos - tempos curtos de interação - com os quais você precisava acompanhar. Queríamos poder fazer algo que existia na academia por um tempo, mas que não era realmente uma coisa comum, que seria capaz de aproveite e processe fluxos de dados à medida que foram gerados, e não como estavam ".
Bem. É exatamente isso que o Confluent agora procura fazer com dados corporativos de todas as formas e tamanhos. A oportunidade em jogo? Campo Verde. Francamente, em toda a história do software corporativo, pode-se argumentar que o mercado endereçável para essa tecnologia é absolutamente necessário. Não existe uma única organização grande, nem mesmo uma pequena empresa com muitos dados, que não possa se beneficiar enormemente dessa tecnologia.
Isto é especialmente verdade devido ao aspecto neurológico dessa tecnologia; não apenas as mentes envolvidas, mas a natureza do que Kafka faz pelos sistemas de informação. Como o Kafka pode ser usado para gerenciar a movimentação de dados em uma organização, ele pode ser visto como mais do que apenas um policial de trânsito, mas como o cérebro da própria operação. Estavam nos estágios iniciais dessa visão, mas tenha certeza, é real.
Como Kafka mudará o gerenciamento de dados
Para entender como o Kafka mudará a natureza do gerenciamento de dados, pense nas maneiras pelas quais o LinkedIn mudou as redes. Encontrar colegas ficou muito mais fácil; ficar em contato com as pessoas agora é fácil. Kafka fará pelos sistemas de informação o que o LinkedIn faz pelas pessoas de negócios: mantenha-as conectadas nas mais amplas regiões do planeta.
A cisão do Confluent é emblemática de algo que poderíamos chamar de Nova Inovação, um movimento impulsionado pela dissociação do desenvolvimento de software e da mentalidade de código fechado, guiado pelos criadores da tecnologia de código aberto, alimentado por grandes quantidades de capital de risco, monetizado por empresas com fins lucrativos que buscam revolucionar como organizações e pessoas criam, coletam, analisam e aproveitam dados.
Para citar Franz Kafka: "A partir de certo ponto, não há mais retorno. Esse é o ponto que deve ser alcançado".
Nós passamos pelo Rubicon. Não há como voltar agora.