Stream Processing mit Apache Spark

Kapitel 15. Experimentelle Bereiche: Kontinuierliche Verarbeitung und maschinelles Lernen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Structured Streaming tauchte erstmals in Spark 2.0 als experimentelle API auf und bot ein neues Streaming-Modell, das die Art und Weise, wie wir über Streaming-Anwendungen nachdenken, vereinfachen sollte. In Spark 2.2 wurde Structured Streaming " produktionsreif" und signalisierte damit, dass dieses neue Modell für die Industrie bereit war. Mit Spark 2.3 gab es weitere Verbesserungen im Bereich der Streaming-Joins und ein neues experimentelles Modell für die kontinuierliche Ausführung von Streams mit niedriger Latenzzeit.

Wie bei jeder neuen erfolgreichen Entwicklung können wir erwarten, dass Structured Streaming sich in schnellem Tempo weiterentwickelt. Auch wenn die Industrie mit evolutionärem Feedback zu wichtigen Funktionen beitragen wird, werden Markttrends wie die zunehmende Beliebtheit von maschinellem Lernen die Roadmap der kommenden Versionen bestimmen.

In diesem Kapitel wollen wir einen Einblick in einige der Bereiche geben, die sich in der Entwicklung befinden und die in den kommenden Versionen wahrscheinlich zum Mainstream werden.

Kontinuierliche Verarbeitung

Kontinuierliche Verarbeitung ist ein alternativer Ausführungsmodus für Structured Streaming, der die Verarbeitung einzelner Ereignisse mit geringer Latenz ermöglicht. Er wurde als experimentelle ...