Skip to Main Content
Spark: Der endgültige Leitfaden
book

Spark: Der endgültige Leitfaden

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 25m
German
O'Reilly Media, Inc.
Book available
Content preview from Spark: Der endgültige Leitfaden

Kapitel 8. Verbindet

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

In Kapitel 7 wurde das Aggregieren einzelner Datensätze behandelt, was hilfreich ist, aber in den meisten Fällen werden deine Spark-Anwendungen eine große Anzahl verschiedener Datensätze zusammenführen. Aus diesem Grund sind Joins ein wesentlicher Bestandteil fast aller Spark-Workloads. Die Fähigkeit von Spark, mit verschiedenen Daten zu kommunizieren, bedeutet, dass du die Möglichkeit hast, eine Vielzahl von Datenquellen in deinem Unternehmen zu nutzen. In diesem Kapitel geht es nicht nur darum, welche Joins es in Spark gibt und wie man sie verwendet, sondern auch um einige grundlegende Interna, damit du dir Gedanken darüber machen kannst, wie Spark den Join auf dem Cluster tatsächlich ausführt. Mit diesem Grundwissen kannst du vermeiden, dass dir der Speicher ausgeht und Probleme lösen, die du vorher nicht lösen konntest.

Ausdrücke verbinden

Ein Join bringt zwei Datensätze, den linken und den rechten, zusammen, indem er den Wert eines oder mehrerer Schlüssel des linken und des rechten Datensatzes vergleicht und das Ergebnis eines Join-Ausdrucks auswertet, der bestimmt, ob Spark den linken Datensatz mit dem rechten Datensatz zusammenführen soll. Der gebräuchlichste Join-Ausdruck, ein equi-join, vergleicht, ob die angegebenen Schlüssel in den linken und rechten Datensätzen gleich sind. Wenn sie gleich sind, kombiniert Spark ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Spark lernen, 2. Auflage

Spark lernen, 2. Auflage

Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Strategisches IT-Management

Strategisches IT-Management

Josephine Hofmann, Matthias Knoll

Publisher Resources

ISBN: 9781098183950Supplemental Content