Streaming Data Mesh

Kapitel 10. Streaming Data Mesh in der Praxis

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In diesem letzten Kapitel werden wir die in den vorherigen Kapiteln vorgeschlagenen Ideen am Beispiel eines einfachen Streaming-Datennetzes durchgehen. Am Beispiel von Datendomänen (eine Sammlung von Werten, die sich auf ein bestimmtes Themengebiet beziehen) werden wir uns mit dem Aufbau von Streaming-Datenprodukten beschäftigen.

Abbildung 10-1 zeigt das Streaming Data Mesh-Beispiel, das wir in diesem Kapitel verwenden werden. Die Kontrollebene in diesem Beispiel enthält nicht alle Komponenten, die im letzten Teil von Kapitel 7 beschrieben werden. Sie enthält nur die notwendigen Komponenten, um Streaming-Datenprodukte zu erstellen, zu veröffentlichen und über Domänen hinweg zu teilen:

• Ein Schemaregister

• Datenherkunft

• Airflow für die Ausführung von ETL-Workflows

• Eine Datenverwaltungsebene, die eine CLI für die Verwaltung enthält

• Komponenten innerhalb der Datendomäne, die Daten in die Managementebene einspeisen

In Abbildung 10-1 haben wir das Repository, das Bibliotheken wie Kafka-Konnektoren oder UDFs enthält, herausgenommen, da wir diesen Anwendungsfall nicht zeigen werden. Außerdem haben wir die Confluent Schema Registry entfernt und durch die Schema Registry ersetzt, die mit Apicurio geliefert wird. Die Confluent Schema Registry wird in den Domänen zum Einsatz kommen, die wir in einem späteren ...