Spark: Der endgültige Leitfaden

Kapitel 16. Entwicklung von Spark-Anwendungen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 15 hast du erfahren, wie Spark deinen Code auf dem Cluster ausführt. Jetzt zeigen wir dir, wie einfach es ist, eine eigenständige Spark-Anwendung zu entwickeln und sie in einem Cluster einzusetzen. Dazu verwenden wir eine einfache Vorlage, die dir einige einfache Tipps für die Strukturierung deiner Anwendungen gibt, einschließlich der Einrichtung von Build-Tools und Unit-Tests. Diese Vorlage ist im Code-Repository des Buches verfügbar. Diese Vorlage ist nicht wirklich notwendig, denn es ist nicht schwer, Anwendungen von Grund auf zu schreiben, aber sie ist hilfreich. Fangen wir mit unserer ersten Anwendung an.

Spark-Anwendungen schreiben

Spark Anwendungen sind die Kombination aus zwei Dingen: einem Spark-Cluster und deinem Code. In diesem Fall ist der Cluster im lokalen Modus und die Anwendung ist eine vordefinierte Anwendung. Lass uns eine Anwendung in jeder Sprache durchgehen.

Eine einfache Scala-basierte App

Scala ist die "native" Sprache von Spark und eignet sich natürlich hervorragend zum Schreiben von Anwendungen. Es ist eigentlich nichts anderes, als eine Scala-Anwendung zu schreiben.

Tipp

Scala kann je nach deinem Hintergrund einschüchternd wirken, aber es lohnt sich, die Sprache zu lernen, um Spark ein bisschen besser zu verstehen. Außerdem musst du nicht alle Einzelheiten der Sprache ...