Malla de transmisión de datos

Capítulo 10. La Malla de Datos en Streaming en la Práctica

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo final, recorreremos las ideas propuestas en los capítulos anteriores mediante un ejemplo de una simple malla de datos en streaming. Recorreremos la experiencia de construir productos de flujo de datos utilizando como ejemplo los dominios de datos (una colección de valores relacionados con un área temática).

La Figura 10-1 muestra en el ejemplo de malla de transmisión de datos que utilizaremos en este capítulo. El plano de control de este ejemplo no tiene todos los componentes que aparecen en la última parte del Capítulo 7. Sólo incluye los componentes necesarios para construir, publicar y compartir productos de streaming de datos entre dominios:

• Un registro de esquemas

• Linaje de los datos

• Airflow para la ejecución del flujo de trabajo ETL

• Un plano de gestión de datos que incluye una CLI para la administración

• Componentes del dominio de datos que transmiten datos al plano de gestión

En la Figura 10-1, hemos eliminado el repositorio que contiene bibliotecas como conectores Kafka o UDFs, ya que no mostraremos este caso de uso. También hemos eliminado el Registro de Esquemas de Confluent, sustituyéndolo por el registro de esquemas que viene con Apicurio. El Registro de Esquemas de Confluent entrará en juego en los dominios que cubriremos en una sección posterior. Por último, hemos ...