Skip to Main Content
Spark: Der endgültige Leitfaden
book

Spark: Der endgültige Leitfaden

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 25m
German
O'Reilly Media, Inc.
Book available
Content preview from Spark: Der endgültige Leitfaden

Kapitel 18. Überwachung und Fehlersuche

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Dieses Kapitel behandelt die wichtigsten Details, die du brauchst, um deine Spark-Anwendungen zu überwachen und zu debuggen. Dazu gehen wir durch die Spark-Benutzeroberfläche mit einer Beispielabfrage, die dir helfen soll zu verstehen, wie du deine eigenen Aufträge durch den Ausführungslebenszyklus verfolgen kannst. Das Beispiel, das wir uns ansehen, hilft dir auch zu verstehen, wie du deine Aufträge debuggen kannst und wo Fehler auftreten können.

Die Monitoring-Landschaft

Unter musst du irgendwann deine Spark-Aufträge überwachen, um zu verstehen, wo Probleme auftreten. Es lohnt sich, einen Blick auf die verschiedenen Dinge zu werfen, die wir überwachen können, und einige der Optionen zu erläutern, mit denen wir dies tun können. Schauen wir uns die Komponenten an, die wir überwachen können (siehe Abbildung 18-1).

Spark-Anwendungen und -Aufträge

Das erste, was du überwachen solltest, wenn du debuggen oder einfach besser verstehen willst, wie deine Anwendung im Cluster ausgeführt wird, sind die Spark UI und die Spark-Logs. Diese enthalten Informationen über die aktuell ausgeführten Anwendungen auf der Ebene der Spark-Konzepte, z. B. RDDs und Abfragepläne. Die Verwendung dieser Überwachungs-Tools wird in diesem Kapitel ausführlich beschrieben.

JVM

Spark führt die Executors in einzelnen Java Virtual Machines ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Spark lernen, 2. Auflage

Spark lernen, 2. Auflage

Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Strategisches IT-Management

Strategisches IT-Management

Josephine Hofmann, Matthias Knoll

Publisher Resources

ISBN: 9781098183950Supplemental Content