Kapitel 9. Klassische Datenentwurfsmuster
Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com
In diesem Kapitel werden einige der grundlegendsten und klassischsten Datenentwurfsmuster besprochen, die in der überwiegenden Mehrheit der Big-Data-Lösungen verwendet werden. Auch wenn es sich um einfache Entwurfsmuster handelt, sind sie bei der Lösung vieler gängiger Datenprobleme nützlich, und ich habe viele von ihnen in den Beispielen in diesem Buch verwendet. In diesem Kapitel werde ich die PySpark-Implementierungen der folgenden Entwurfsmuster vorstellen:
-
Input-Map-Output
-
Input-Filter-Output
-
Input-Map-Reduce-Output
-
Input-Multiple-Maps-Reduce-Output
-
Input-Map-Combiner-Reduce-Output
-
Input-MapPartitions-Reduce-Output
-
Input-Inverted-Index-Pattern-Output
Bevor wir jedoch beginnen, möchte ich die Frage klären, was ich mit "Entwurfsmuster" meine. In der Informatik und Softwareentwicklung ist ein Entwurfsmuster eine wiederverwendbare Lösung für ein häufig auftretendes Problem. Es ist eine Vorlage oder bewährte Methode für die Lösung eines Problems, kein fertiges Design, das direkt in Code umgewandelt werden kann. Mit den in diesem Kapitel vorgestellten Mustern kannst du eine breite Palette von Datenanalyseaufgaben bewältigen.
Hinweis
Die in diesem Kapitel besprochenen Datenentwurfsmuster ...
Get Datenalgorithmen mit Spark now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
