Spark: Der endgültige Leitfaden

Kapitel 18. Überwachung und Fehlersuche

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Dieses Kapitel behandelt die wichtigsten Details, die du brauchst, um deine Spark-Anwendungen zu überwachen und zu debuggen. Dazu gehen wir durch die Spark-Benutzeroberfläche mit einer Beispielabfrage, die dir helfen soll zu verstehen, wie du deine eigenen Aufträge durch den Ausführungslebenszyklus verfolgen kannst. Das Beispiel, das wir uns ansehen, hilft dir auch zu verstehen, wie du deine Aufträge debuggen kannst und wo Fehler auftreten können.

Die Monitoring-Landschaft

Unter musst du irgendwann deine Spark-Aufträge überwachen, um zu verstehen, wo Probleme auftreten. Es lohnt sich, einen Blick auf die verschiedenen Dinge zu werfen, die wir überwachen können, und einige der Optionen zu erläutern, mit denen wir dies tun können. Schauen wir uns die Komponenten an, die wir überwachen können (siehe Abbildung 18-1).

Spark-Anwendungen und -Aufträge

Das erste, was du überwachen solltest, wenn du debuggen oder einfach besser verstehen willst, wie deine Anwendung im Cluster ausgeführt wird, sind die Spark UI und die Spark-Logs. Diese enthalten Informationen über die aktuell ausgeführten Anwendungen auf der Ebene der Spark-Konzepte, z. B. RDDs und Abfragepläne. Die Verwendung dieser Überwachungs-Tools wird in diesem Kapitel ausführlich beschrieben.

JVM

Spark führt die Executors in einzelnen Java Virtual Machines ...