Streaming Data Mesh

Kapitel 7. Aufbau eines Streaming Data Meshes

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In den Kapiteln 3 bis 6 haben wir die Säulen eines Streaming Data Meshes behandelt. Jetzt werden wir dieses Wissen nutzen, um ein Streaming Data Mesh zu entwerfen. Wie wir bereits erwähnt haben, wurde der Begriff "Mesh" in "Data Mesh" von dem Begriff "Service Mesh" in Microservice-Architekturen übernommen. Wir bauen auf dieser Ähnlichkeit auf und beschreiben die Teile eines Streaming Data Mesh mit denselben Begriffen, die auch für die Beschreibung von Teilen einer Microservice-Architektur verwendet werden. Wir werden jeden Teil der Architektur beschreiben, daher ist die Kenntnis der Microservice-Architektur keine Voraussetzung. Außerdem werden wir mehrere Streaming-Data-Mesh-Lösungen betrachten und ihre Vorteile und Kompromisse auflisten. Das Ergebnis wird ein einfaches und klares Framework sein, das du für die Implementierung deines eigenen Streaming Data Mesh verwenden kannst.

Infrastruktur

Wie in Kapitel 1 erklärt hat, werden wir ein Streaming Data Mesh mit Kafka implementieren. Die Verwendung von Kafka ist optional und kann durch Apache Pulsar oder Redpanda ersetzt werden. Unabhängig davon, wofür du dich entscheidest, empfehlen wir die Verwendung einer vollständig verwalteten und serverlosen Streaming-Plattform, um die Aufgaben der selbstverwalteten Infrastruktur abzugeben. Ebenso werden wir ksqlDB ...