Stream Processing mit Apache Spark

Kapitel 22. Beliebige zustandsabhängige Streaming-Berechnungen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher haben wir gesehen, wie Spark Streaming die eingehenden Daten unabhängig von früheren Datensätzen verarbeiten kann. In vielen Anwendungen sind wir auch daran interessiert, die Entwicklung der eingehenden Daten in Bezug auf ältere Datenpunkte zu analysieren. Wir könnten auch daran interessiert sein, Veränderungen zu verfolgen, die durch die empfangenen Datenpunkte hervorgerufen werden. Das heißt, wir könnten daran interessiert sein, eine zustandsbezogene Darstellung eines Systems anhand der Daten zu erstellen, die wir bereits gesehen haben.

Spark Streaming bietet verschiedene Funktionen, mit denen wir Wissen über bereits gesehene Daten aufbauen und speichern sowie dieses Wissen nutzen können, um neue Daten zu transformieren.

Statefulness auf der Skala eines Streams

Funktionale Programmierer mögen Funktionen ohne Zustandsabhängigkeit. Diese Funktionen geben Werte zurück, die unabhängig vom Zustand der Welt außerhalb ihrer Funktionsdefinition sind und sich nur um den Wert ihrer Eingabe kümmern.

Eine Funktion kann jedoch zustandslos sein, sich nur um ihre Eingaben kümmern und dennoch einen verwalteten Wert zusammen mit ihrer Berechnung beibehalten, ohne gegen die Regeln der Funktionalität zu verstoßen. Die Idee ist, dass dieser Wert, der einen Zwischenzustand repräsentiert, bei der ...