Creación de sistemas de análisis en tiempo real

Capítulo 8. Unir flujos con Kafka Streams

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Aunque el flujo orders no contiene actualmente información detallada sobre los productos, en el último capítulo configuramos Debezium para capturar cualquier cambio en la tabla MySQL products y escribirlo en el flujo products. En este capítulo, aprenderás a combinar los flujos orders y products utilizando un procesador de flujos. Introduciremos el nuevo flujo en Apache Pinot y actualizaremos el panel de control con los productos y categorías más vendidos.

Enriquecer pedidos con Kafka Streams

En el Capítulo 4, utilizamos Kafka Streams para crear una agregación en ventana sobre el flujo orders, de forma que pudiéramos calcular el número de pedidos y los ingresos de los últimos minutos. En esta sección, vamos a poblar un nuevo flujo llamado enriched-order-items que contendrá todos los elementos de pedido contenidos en el flujo orders, hidratados con detalles del flujo products.La Figura 8-1 muestra lo que vamos a construir con más detalle.

Figura 8-1. Arquitectura con pedidos enriquecidos mediante Kafka Streams

Podemos desglosar aún más la Figura 8-1 para visualizar los distintos procesadores que existirán en el grafo Kafka Streams para conseguirlo, como se muestra en la Figura 8-2.

Figura 8-2. Procesadores de Kafka Streams ...