Stream Processing mit Apache Spark

Kapitel 11. Strukturierte Streaming-Senken

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Im vorigen Kapitel hast du die Quellen kennengelernt, die Abstraktion, die es Structured Streaming ermöglicht, Daten für die Verarbeitung zu erfassen. Nachdem die Daten verarbeitet wurden, möchten wir etwas mit ihnen machen. Vielleicht möchten wir sie in eine Datenbank für spätere Abfragen, in eine Datei für die weitere (Stapel-)Verarbeitung oder in ein anderes Streaming-Backend schreiben, um die Daten in Bewegung zu halten.

In Structured Streaming sind Senken die Abstraktion, die darstellt, wie Daten an ein externes System ausgegeben werden. Structured Streaming verfügt über mehrere eingebaute Quellen und definiert eine API, mit der wir benutzerdefinierte Senken für andere Systeme erstellen können, die nicht von Haus aus unterstützt werden.

In diesem Kapitel sehen wir uns an, wie eine Senke funktioniert, gehen auf die Details der von Structured Streaming bereitgestellten Senken ein und untersuchen, wie man eigene Senken erstellt, um Daten in Systeme zu schreiben, die von den Standardimplementierungen nicht unterstützt werden.

Spülen verstehen

Sinks dienen als Output-Adapter zwischen der internen Datenrepräsentation in Structured Streaming und externen Systemen. Sie stellen einen Schreibpfad für die aus der Stream-Verarbeitung resultierenden Daten bereit. Außerdem müssen sie den Kreislauf der zuverlässigen ...