Prólogo a la primera edición
Es un momento emocionante para Apache Kafka. Decenas de miles de organizaciones utilizan Kafka, entre ellas más de un tercio de las 500 empresas de Fortune. Se encuentra entre los proyectos de código abierto de más rápido crecimiento y ha generado un inmenso ecosistema a su alrededor. Está en el centro de un movimiento hacia la gestión y el procesamiento de flujos de datos.
¿De dónde viene Kafka? ¿Por qué lo construimos? ¿Y qué es exactamente?
Kafka empezó como un sistema de infraestructura interna que construimos en LinkedIn. Nuestra observación fue realmente sencilla: había muchas bases de datos y otros sistemas construidos para almacenar datos, pero lo que faltaba en nuestra arquitectura era algo que nos ayudara a manejar el flujo continuo de datos. Antes de construir Kafka, experimentamos con todo tipo de opciones estándar, desde sistemas de mensajería hasta herramientas de agregación de registros y ETL, pero ninguna de ellas nos daba lo que queríamos.
Al final decidimos construir algo desde cero. Nuestra idea era que, en lugar de centrarnos en almacenar montones de datos como nuestras bases de datos relacionales, almacenes de valores clave, índices de búsqueda o cachés, nos centraríamos en tratar los datos como un flujo en continua evolución y crecimiento, y construir un sistema de datos -y, de hecho, una arquitectura de datos- orientada en torno a esa idea.
Esta idea resultó ser incluso más ampliamente aplicable de lo que esperábamos. Aunque ...