Stream Processing mit Apache Flink

Kapitel 10. Betrieb von Flink- und Streaming-Anwendungen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Streaming-Anwendungen sind langlebig und ihre Arbeitsbelastung ist oft unvorhersehbar. Es ist nicht ungewöhnlich, dass ein Streaming-Auftrag monatelang ununterbrochen läuft. Daher unterscheiden sich seine betrieblichen Anforderungen deutlich von denen kurzlebiger Batch-Aufträge. Stell dir ein Szenario vor, in dem du einen Fehler in deiner eingesetzten Anwendung entdeckst. Wenn es sich bei deiner Anwendung um einen Batch-Job handelt, kannst du den Fehler leicht offline beheben und den neuen Anwendungscode erneut bereitstellen, sobald die aktuelle Jobinstanz beendet ist. Aber was ist, wenn dein Auftrag ein lang laufender Streaming-Job ist? Wie kannst du eine Rekonfiguration mit geringem Aufwand durchführen und gleichzeitig die Korrektheit garantieren?

Wenn du Flink verwendest, brauchst du dir keine Sorgen zu machen. Flink übernimmt die ganze Arbeit, sodass du deine Aufträge mit minimalem Aufwand überwachen, betreiben und rekonfigurieren kannst, ohne dass die Semantik des einmaligen Zustands beeinträchtigt wird. In diesem Kapitel stellen wir dir die Werkzeuge vor, die Flink für den Betrieb und die Wartung von kontinuierlich laufenden Streaming-Anwendungen bietet. Wir zeigen dir, wie du Metriken erheben und deine Anwendungen überwachen kannst und wie du die Konsistenz der Ergebnisse bewahrst, ...