Skip to Main Content
Spark: Der endgültige Leitfaden
book

Spark: Der endgültige Leitfaden

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 25m
German
O'Reilly Media, Inc.
Book available
Content preview from Spark: Der endgültige Leitfaden

Kapitel 15. Wie Spark auf einem Cluster läuft

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Bisher haben wir uns in diesem Buch auf die Eigenschaften von Spark als Programmierschnittstelle konzentriert. Wir haben besprochen, wie die strukturierten APIs eine logische Operation in einen logischen Plan aufteilen und diesen in einen physischen Plan umwandeln, der aus RDD-Operationen (Resilient Distributed Dataset) besteht, die auf dem gesamten Rechnercluster ausgeführt werden. In diesem Kapitel geht es darum, was passiert, wenn Spark diesen Code ausführt. Wir besprechen dies unabhängig von der Implementierung - es hängt weder vom verwendeten Clustermanager noch von dem Code ab, den du ausführst. Letzten Endes läuft jeder Spark-Code auf die gleiche Weise.

Dieses Kapitel behandelt mehrere wichtige Themen:

  • Die Architektur und Komponenten einer Spark-Anwendung

  • Der Lebenszyklus einer Spark-Anwendung innerhalb und außerhalb von Spark

  • Wichtige Ausführungseigenschaften auf niedriger Ebene, wie z. B. Pipelining

  • Was es braucht, um eine Spark-Anwendung auszuführen, als Überleitung zu Kapitel 16.

Beginnen wir mit der Architektur.

Die Architektur einer Spark-Anwendung

In Kapitel 2 haben wir einige der wichtigsten Komponenten einer Spark-Anwendung besprochen. Schauen wir uns diese noch einmal an:

Der Spark-Treiber

Der Treiber ist der Prozess "auf dem Fahrersitz" deiner Spark-Anwendung. Er steuert ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Spark lernen, 2. Auflage

Spark lernen, 2. Auflage

Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Strategisches IT-Management

Strategisches IT-Management

Josephine Hofmann, Matthias Knoll

Publisher Resources

ISBN: 9781098183950Supplemental Content