September 2024
Intermediate to advanced
438 pages
10h 26m
German
Content preview from Datenalgorithmen mit Spark
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
Start your free trial
Kapitel 9. Klassische Datenentwurfsmuster
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
In diesem Kapitel werden einige der grundlegendsten und klassischsten Datenentwurfsmuster besprochen, die in der überwiegenden Mehrheit der Big-Data-Lösungen verwendet werden. Auch wenn es sich um einfache Entwurfsmuster handelt, sind sie bei der Lösung vieler gängiger Datenprobleme nützlich, und ich habe viele von ihnen in den Beispielen in diesem Buch verwendet. In diesem Kapitel werde ich die PySpark-Implementierungen der folgenden Entwurfsmuster vorstellen:
-
Input-Map-Output
-
Input-Filter-Output
-
Input-Map-Reduce-Output
-
Input-Multiple-Maps-Reduce-Output
-
Input-Map-Combiner-Reduce-Output
-
Input-MapPartitions-Reduce-Output
-
Input-Inverted-Index-Pattern-Output
Bevor wir jedoch beginnen, möchte ich die Frage klären, was ich mit "Entwurfsmuster" meine. In der Informatik und Softwareentwicklung ist ein Entwurfsmuster eine wiederverwendbare Lösung für ein häufig auftretendes Problem. Es ist eine Vorlage oder bewährte Methode für die Lösung eines Problems, kein fertiges Design, das direkt in Code umgewandelt werden kann. Mit den in diesem Kapitel vorgestellten Mustern kannst du eine breite Palette von Datenanalyseaufgaben bewältigen.
Hinweis
Die in diesem Kapitel besprochenen Datenentwurfsmuster ...