Stream Processing mit Apache Spark

Kapitel 20. Spark Streaming Senken

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Nachdem Daten über eine als DStream dargestellte Quelle erfasst und eine Reihe von Transformationen mithilfe der DStream-API durchgeführt hat, um unsere Geschäftslogik zu implementieren, möchten wir das Ergebnis prüfen, speichern oder an ein externes System übermitteln.

Wie wir uns aus Kapitel 2 erinnern, bezeichnen wir in unserem allgemeinen Streaming-Modell die Komponente, die für die Auslagerung der Daten aus dem Streaming-Prozess zuständig ist, als Senke. In Spark Streaming werden Senken durch die sogenannten Ausgabeoperationen implementiert.

In diesem Kapitel werden wir die Möglichkeiten und Modalitäten von Spark Streaming erkunden, um Daten durch diese Ausgabeoperationen an externe Systeme zu liefern.

Output Operationen

Ausgabeoperationen spielen in jeder Spark Streaming-Anwendung eine entscheidende Rolle. Sie werden benötigt, um die Berechnungen über den DStream auszulösen, und gleichzeitig bieten sie über eine programmierbare Schnittstelle Zugriff auf die resultierenden Daten.

In Abbildung 20-1 wird ein allgemeiner Spark-Streaming-Auftrag dargestellt, der zwei Streams als Eingabe nimmt, einen davon transformiert und sie dann miteinander verknüpft, bevor er das Ergebnis in eine Datenbank schreibt. Zur Ausführungszeit wird die Kette von DStream-Transformationen, die auf dieser Ausgabeoperation endet, zu ...