Stream Processing mit Apache Spark

Kapitel 14. Überwachung strukturierter Streaming-Anwendungen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Die Anwendungsüberwachung ist ein wesentlicher Bestandteil jeder robusten Bereitstellung. Die Überwachung gibt Aufschluss über die Leistungsmerkmale der Anwendung im Laufe der Zeit, indem sie Metriken sammelt und verarbeitet, die verschiedene Aspekte der Anwendungsleistung quantifizieren, z. B. Reaktionsfähigkeit, Ressourcenverbrauch und aufgabenspezifische Indikatoren.

Streaming-Anwendungen stellen strenge Anforderungen an Antwortzeiten und Durchsatz. Bei verteilten Anwendungen wie Spark wird die Anzahl der Variablen, die wir während der Lebensdauer der Anwendung berücksichtigen müssen, durch die Komplexität der Ausführung auf einem Cluster von Maschinen vervielfacht. Im Kontext eines Clusters müssen wir die Ressourcennutzung wie CPU, Arbeitsspeicher und sekundäre Speicherung über verschiedene Hosts hinweg aus der Perspektive jedes einzelnen Hosts sowie eine konsolidierte Ansicht der laufenden Anwendung im Auge behalten.

Stellen wir uns zum Beispiel eine Anwendung vor, die auf 10 verschiedenen Executors läuft. Der Indikator für die Gesamtspeichernutzung zeigt einen Anstieg von 15 % an, was innerhalb der erwarteten Toleranz für diese Anwendung liegen könnte, aber dann stellen wir fest, dass der Anstieg von einem einzigen Knoten ausgeht. Ein solches Ungleichgewicht muss untersucht werden, ...