Stream Processing mit Apache Spark

Kapitel 25. Überwachung von Spark Streaming

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Die Überwachung von in Streaming-Anwendungen ist notwendig, um Vertrauen in den Betrieb der eingesetzten Anwendungen zu gewinnen, und sollte eine ganzheitliche Sicht auf die von der Anwendung genutzten Ressourcen wie CPU, Arbeitsspeicher und sekundäre Speicherung umfassen. Als verteilte Anwendung wird die Anzahl der zu überwachenden Faktoren durch die Anzahl der Knoten, die Teil einer geclusterten Bereitstellung sind, multipliziert.

Um diese Komplexität zu bewältigen, brauchen wir ein umfassendes und intelligentes Überwachungssystem. Es muss Metriken von allen wichtigen beweglichen Teilen sammeln, die an der Laufzeit der Streaming-Anwendung beteiligt sind, und sie gleichzeitig in einer verständlichen und konsumierbaren Form bereitstellen.

Im Fall von Spark Streaming geht es neben den gerade besprochenen allgemeinen Indikatoren vor allem um das Verhältnis zwischen der Menge der empfangenen Daten, dem für unsere Anwendung gewählten Batch-Intervall und der tatsächlichen Ausführungszeit jedes Microbatches. Das Verhältnis zwischen diesen drei Parametern ist der Schlüssel für einen langfristig stabilen Spark-Streaming-Auftrag. Um sicherzustellen, dass unser Auftrag innerhalb stabiler Grenzen läuft, müssen wir die Leistungsüberwachung zu einem festen Bestandteil des Entwicklungs- und Produktionsprozesses machen. ...