Skip to Main Content
Spark: Der endgültige Leitfaden
book

Spark: Der endgültige Leitfaden

by Bill Chambers, Matei Zaharia
September 2024
Intermediate to advanced content levelIntermediate to advanced
606 pages
16h 25m
German
O'Reilly Media, Inc.
Book available
Content preview from Spark: Der endgültige Leitfaden

Kapitel 7. Aggregationen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

Aggregieren ist der Akt des Zusammenfassens von etwas und ein Eckpfeiler der Big Data-Analytik. Bei einer Aggregation gibst du einen Schlüssel oder eine Gruppierung an und eine Aggregationsfunktion, die angibt, wie du eine oder mehrere Spalten umwandeln sollst. Diese Funktion muss bei mehreren Eingabewerten ein Ergebnis für jede Gruppe liefern. Die Aggregationsfunktionen von Spark sind ausgefeilt und ausgereift und bieten eine Vielzahl verschiedener Anwendungsfälle und Möglichkeiten. Im Allgemeinen verwendest du Aggregationen, um numerische Daten zusammenzufassen, indem du sie gruppierst. Das kann eine Summierung, ein Produkt oder eine einfache Zählung sein. Außerdem kannst du mit Spark jede Art von Wert in einem Array, einer Liste oder einer Map aggregieren, wie wir in "Aggregieren zu komplexen Typen" sehen werden .

Spark kann nicht nur mit allen Arten von Werten arbeiten, sondern auch die folgenden Gruppierungsarten erstellen:

  • Die einfachste Gruppierung ist die Zusammenfassung eines kompletten Datenrahmens, indem du eine Aggregation in einer Select-Anweisung durchführst.

  • Bei einer "Gruppierung nach" kannst du einen oder mehrere Schlüssel sowie eine oder mehrere Aggregationsfunktionen angeben, um die Wertespalten zu transformieren.

  • Ein "Fenster" gibt dir die Möglichkeit, einen oder mehrere Schlüssel sowie eine oder ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Spark lernen, 2. Auflage

Spark lernen, 2. Auflage

Jules S. Damji, Brooke Wenig, Tathagata Das, Denny Lee
Strategisches IT-Management

Strategisches IT-Management

Josephine Hofmann, Matthias Knoll

Publisher Resources

ISBN: 9781098183950Supplemental Content