Streaming Data Mesh

Kapitel 2. Streaming Data Mesh Einführung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 1 haben wir alle vier Säulen einer Datenmaschenarchitektur vorgestellt und zusammengefasst. Jetzt werden wir dieses einführende Wissen auf ein Streaming-Datennetz anwenden. Einfach ausgedrückt, ist ein Streaming Data Mesh ein Datengitter (das alle Säulen erfüllt), das als Streams implementiert ist. Mit anderen Worten: Nachdem die Daten von der Quelle aufgenommen wurden, gibt es keinen Punkt, an dem die Daten in einem Datenspeicher abgelegt werden, bevor sie die konsumierende Domäne erreichen. Die Datenprodukte werden in einem Stream aufbewahrt, bis ihre Aufbewahrungsfrist abgelaufen ist.

Um Datenprodukte in einem Stream zu halten, sind alle Self-Service-Tools und -Dienste erforderlich, die dem Datengeflecht zur Verfügung stehen. Betrachte einen einfachen ETL-Prozess. Die Komponente, die Daten aus der Quelle extrahiert, muss die Daten in einem Stream in Bewegung setzen. Als Nächstes muss die Engine, die die Daten umwandelt, sie in einen Stream umwandeln. Schließlich muss die Komponente, die das Datenprodukt veröffentlicht, Integrationen unterstützen, damit die Verbraucher das Datenprodukt einfach in ihre eigene Domäne streamen können, während sie die föderale Daten-Governance für Streaming-Datenprodukte befolgen. Tabelle 2-1 zeigt die vier Säulen des Datennetzes und erklärt, was in einer Streaming-Umgebung ...