Hochleistungsfunken

Kapitel 7. Über Scala hinausgehen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Spark zu arbeiten bedeutet nicht, dass du dich auf Scala, die JVM oder Sprachen, die Spark explizit unterstützt, beschränken musst.Spark verfügt über First-Party-APIs zum Schreiben von Treiberprogrammen und Worker Code in R,¹ Python, Scala und Java mit Bindungen von Drittanbietern² Die Sprachinteroperabilität von Spark kann auf zwei Ebenen betrachtet werden: Die erste Ebene ist der Worker-Code innerhalb deiner Transformationen (z. B. die Lambdas innerhalb deiner Maps) und die zweite Ebene ist die Möglichkeit, die Transformationen auf RDDs/Datasetzu spezifizieren (z. B. das Treiberprogramm). In diesem Kapitel werden die Leistungsüberlegungen bei der Verwendung anderer Sprachen in Spark erörtert und wie man effektiv mit bestehenden Bibliotheken arbeitet.

Oft ist die Sprache, die du für den Code innerhalb deiner Transformationen wählst, die gleiche wie die Sprache, in der du das Treiberprogramm schreibst:. Wenn du jedoch mit speziellen Bibliotheken oder Tools (wie CUDA³) wäre es mühsam, das gesamte Programm in einer Sprache zu schreiben, selbst wenn es möglich wäre. Spark unterstützt eine Reihe von Sprachen für den Treiber, und eine noch größere Anzahl von Sprachen kann innerhalb der Transformationen auf den Workern verwendet werden. Während die APIs der verschiedenen Sprachen ähnlich sind, unterscheiden sich die ...