Spark lernen, 2. Auflage

Kapitel 12. Epilog: Apache Spark 3.0

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Als wir dieses Buch schrieben, war Apache Spark 3.0 noch nicht offiziell veröffentlicht; es befand sich noch in der Entwicklung, und wir haben mit Spark 3.0.0-preview2 gearbeitet. Alle Codebeispiele in diesem Buch wurden mit Spark 3.0.0-preview2 getestet und sollten mit der offiziellen Spark 3.0-Version genauso funktionieren. Wann immer es möglich war, haben wir in den Kapiteln erwähnt, wenn es sich um neue Funktionen oder Verhaltensweisen in Spark 3.0 handelt. In diesem Kapitel geben wir einen Überblick über die Änderungen.

Die Fehlerkorrekturen und Funktionserweiterungen sind zahlreich, daher stellen wir in aller Kürze nur eine Auswahl der bemerkenswerten Änderungen und Funktionen für Spark-Komponenten vor. Einige der neuen Funktionen sind unter der Haube sehr fortschrittlich und würden den Rahmen dieses Buches sprengen, aber wir erwähnen sie hier, damit du sie erkunden kannst, sobald die Version allgemein verfügbar ist.

Spark Core und Spark SQL

Schauen wir uns zunächst an, was unter der Haube neu ist. In Spark Core und der Spark SQL-Engine wurden eine Reihe von Änderungen vorgenommen, um Abfragen zu beschleunigen. Eine Möglichkeit, Abfragen zu beschleunigen, besteht darin, durch dynamisches Partition Pruning weniger Daten zu lesen. Eine andere Möglichkeit ist die Anpassung und Optimierung von Abfrageplänen ...