Kapitel 7. Zustandsabhängige Operatoren und Anwendungen
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
Zustandsabhängige Operatoren und Benutzerfunktionen sind häufige Bausteine von Stream-Processing-Anwendungen. Tatsächlich müssen die meisten nicht-trivialen Operationen Datensätze oder Teilergebnisse speichern, da die Daten gestreamt werden und im Laufe der Zeit ankommen.1 Viele der in Flink eingebauten DataStream-Operatoren, Quellen und Senken sind zustandsorientiert und puffern Datensätze oder speichern Teilergebnisse oder Metadaten. Ein Window-Operator sammelt beispielsweise Eingabedatensätze für ein ProcessWindowFunction oder das Ergebnis der Anwendung eines ReduceFunction, ein ProcessFunction speichert geplante Zeitabläufe und einige Sink-Funktionen halten den Zustand von Transaktionen fest, um eine Exact-once-Funktionalität zu bieten. Zusätzlich zu den eingebauten Operatoren und den bereitgestellten Quellen und Senken bietet die DataStream-API von Flink Schnittstellen zum Registrieren, Verwalten und Zugreifen auf den Zustand in benutzerdefinierten Funktionen.
Die zustandsbehaftete Stream-Verarbeitung hat Auswirkungen auf viele Aspekte eines Stream-Prozessors, wie z. B. die Wiederherstellung von Fehlern und die Speicherverwaltung sowie die Wartung von Streaming-Anwendungen. In den Kapiteln 2 und 3 wurden die Grundlagen der zustandsbehafteten Stream-Verarbeitung und die damit verbundenen ...