Skip to Main Content
Spark: Der endgültige Leitfaden
book

Spark: Der endgültige Leitfaden

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 25m
German
O'Reilly Media, Inc.
Book available
Content preview from Spark: Der endgültige Leitfaden

Kapitel 19. Leistungsoptimierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Kapitel 18 behandelte die Spark-Benutzeroberfläche (UI) und grundlegende Erste-Hilfe-Maßnahmen für deine Spark-Anwendung. Mit den in diesem Kapitel vorgestellten Werkzeugen solltest du sicherstellen können, dass deine Aufträge zuverlässig ausgeführt werden. Manchmal musst du sie aber auch aus verschiedenen Gründen schneller oder effizienter ausführen. Genau darum geht es in diesem Kapitel. Hier stellen wir dir einige der Möglichkeiten vor, wie du deine Aufträge schneller ausführen kannst.

Genau wie bei der Überwachung gibt es eine Reihe von verschiedenen Ebenen, die du optimieren kannst. Wenn du zum Beispiel ein extrem schnelles Netzwerk hättest, würden viele deiner Spark-Aufträge schneller werden, weil Shuffles oft einer der kostspieligsten Schritte in einem Spark-Auftrag sind. Höchstwahrscheinlich hast du nicht viele Möglichkeiten, solche Dinge zu steuern. Deshalb werden wir die Dinge besprechen, die du durch Codeauswahl oder Konfiguration steuern kannst.

Es gibt eine Vielzahl von verschiedenen Bereichen der Spark-Aufträge, die du optimieren möchtest. Im Folgenden sind einige der Bereiche aufgeführt:

  • Designentscheidungen auf Code-Ebene (z.B. RDDs versus Datenrahmen)

  • Daten im Ruhezustand

  • Tritt bei

  • Aggregationen

  • Daten im Flug

  • Individuelle Anwendungseigenschaften

  • Innerhalb der Java Virtual Machine (JVM) ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Spark lernen, 2. Auflage

Spark lernen, 2. Auflage

Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Strategisches IT-Management

Strategisches IT-Management

Josephine Hofmann, Matthias Knoll

Publisher Resources

ISBN: 9781098183950Supplemental Content