Prefácio à primeira edição
É um momento emocionante para o Apache Kafka. O Kafka está a ser utilizado por dezenas de milhares de organizações, incluindo mais de um terço das empresas da Fortune 500. Está entre os projetos de código aberto que mais crescem e gerou um imenso ecossistema ao seu redor. Está no centro de um movimento para gerir e processar fluxos de dados.
Então, de onde veio o Kafka? Porque é que o construímos? E o que é exatamente?
O Kafka começou por ser um sistema de infraestrutura interna que construímos no LinkedIn. A nossa observação era muito simples: havia muitas bases de dados e outros sistemas criados para armazenar dados, mas o que faltava na nossa arquitetura era algo que nos ajudasse a lidar com o fluxo contínuo de dados. Antes de criarmos o Kafka, experimentámos todo o tipo de opções prontas a usar, desde sistemas de mensagens a ferramentas de agregação de registos e ETL, mas nenhuma delas nos deu o que queríamos.
Acabámos por decidir construir algo a partir do zero. A nossa ideia era que, em vez de nos concentrarmos em guardar pilhas de dados como as nossas bases de dados relacionais, armazenamentos de valores chave, índices de pesquisa ou caches, nos concentrássemos em tratar os dados como um fluxo em constante evolução e crescimento e construíssemos um sistema de dados - e, na verdade, uma arquitetura de dados - orientado para essa ideia.
Esta ideia acabou por ser ainda mais amplamente aplicável do que esperávamos. Embora o Kafka tenha começado a ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access