Stream Processing mit Apache Spark

Kapitel 19. Spark Streaming-Quellen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wie du bereits in Kapitel 2 gelernt hast, ist eine Streaming-Quelle ein Datenanbieter, der kontinuierlich Daten liefert. In Spark Streaming sind Quellen Adapter, die im Kontext des Spark Streaming-Jobs laufen und die Interaktion mit der externen Streaming-Quelle implementieren und die Daten über die DStream-Abstraktion an Spark Streaming liefern. Aus der Programmierperspektive bedeutet das Konsumieren einer Streaming-Datenquelle, dass ein DStream mit der entsprechenden Implementierung für die entsprechende Quelle erstellt wird.

Im Abschnitt "Die DStream-Abstraktion" haben wir ein Beispiel dafür gesehen, wie man Daten von einem Netzwerksocket abrufen kann. In Beispiel 19-1 wollen wir dieses Beispiel noch einmal aufgreifen.

Beispiel 19-1. Erstellen eines Textstreams aus einer Socket-Verbindung

// creates a DStream using a client socket connected to the given host and port
val textDStream: DStream[String] = ssc.socketTextStream("localhost", 9876)

In Beispiel 19-1 sehen wir, dass die Erstellung einer Streaming-Quelle von einer eigenen Implementierung bereitgestellt wird. In diesem Fall wird sie von der Instanz ssc, dem Streaming-Kontext, bereitgestellt und resultiert in einer DStream[String], die die vom Socket gelieferten Textdaten enthält, die mit dem Inhalt des DStreams typisiert sind. Obwohl die Implementierung ...