Spark: Der endgültige Leitfaden

Kapitel 3. Eine Tour durch das Spark-Toolset

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 2 haben wir die Kernkonzepte von Spark, wie Transformationen und Aktionen, im Zusammenhang mit den strukturierten APIs von Spark vorgestellt. Diese einfachen konzeptionellen Bausteine sind die Grundlage für das umfangreiche Ökosystem von Apache Spark mit seinen Tools und Bibliotheken(Abbildung 3-1). Spark besteht aus diesen Grundbausteinen - den APIs der unteren Ebenen und den strukturierten APIs - und einer Reihe von Standardbibliotheken für zusätzliche Funktionen.

Abbildung 3-1. Das Werkzeugset von Spark

Die Bibliotheken von Spark unterstützen eine Vielzahl von Aufgaben, von der Graphenanalyse und dem maschinellen Lernen bis hin zum Streaming und der Integration mit einer Vielzahl von Rechen- und Speichersystemen. Dieses Kapitel bietet einen Überblick über die Möglichkeiten von Spark, einschließlich einiger APIs, die wir noch nicht behandelt haben, und einiger der wichtigsten Bibliotheken. Zu jedem Abschnitt findest du in anderen Teilen dieses Buches detailliertere Informationen; wir wollen dir hier einen Überblick über die Möglichkeiten geben.

In diesem Kapitel werden die folgenden Punkte behandelt:

• Der Betrieb von Produktionsanwendungen mit spark-submit

• Datasets: Typsichere APIs für ...