Stream Processing mit Apache Flink

Kapitel 3. Die Architektur von Apache Flink

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 2 wurden unter wichtige Konzepte der verteilten Stream-Verarbeitung, wie Parallelisierung, Zeit und Zustand, erläutert. In diesem Kapitel geben wir eine allgemeine Einführung in die Architektur von Flink und beschreiben, wie Flink die zuvor besprochenen Aspekte der Stream-Verarbeitung behandelt. Wir erläutern insbesondere die verteilte Architektur von Flink, zeigen, wie Flink mit Zeit und Zustand in Streaming-Anwendungen umgeht, und diskutieren die Mechanismen zur Fehlertoleranz. Dieses Kapitel liefert wichtige Hintergrundinformationen, um fortgeschrittene Streaming-Anwendungen mit Apache Flink erfolgreich zu implementieren und zu betreiben. Es hilft dir, die Interna von Flink zu verstehen und Rückschlüsse auf die Leistung und das Verhalten von Streaming-Anwendungen zu ziehen.

Systemarchitektur

Flink ist ein verteiltes System für die zustandsabhängige parallele Verarbeitung von Datenströmen. Ein Flink-Setup besteht aus mehreren Prozessen, die in der Regel über mehrere Rechner verteilt laufen. Allgemeine Herausforderungen, die verteilte Systeme bewältigen müssen, sind die Zuweisung und Verwaltung von Rechenressourcen in einem Cluster, die Koordination von Prozessen, die dauerhafte und hochverfügbare Speicherung von Daten und die Wiederherstellung nach einem Ausfall.

Flink implementiert all diese ...