Skalierung von Python mit Dask

Kapitel 5. Die Dask-Sammlungen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bisher hast du die Grundlagen des Aufbaus von Dask kennengelernt und erfahren, wie Dask diese Bausteine nutzt, um Data Science mit DataFrames zu unterstützen. In diesem Kapitel wird untersucht, wo Dasks Bag- und Array-Schnittstellen - die im Vergleich zu DataFrames oft übersehen werden - besser geeignet sind. Wie in "Hello Worlds" erwähnt , implementieren Dask-Bags gängige funktionale APIs und Dask-Arrays eine Teilmenge von NumPy-Arrays.

Tipp

Das Verständnis der Partitionierung ist wichtig für das Verständnis von Sammlungen. Wenn du "Partitionierung/Sammlungen aufteilen" übersprungen hast , ist jetzt ein guter Zeitpunkt, um zurückzugehen und einen Blick darauf zu werfen.

Dask-Arrays

Dask-Arrays implementieren eine Teilmenge von der NumPy ndarray-Schnittstelle, was sie ideal für die Portierung von Code macht, der NumPy verwendet, um auf Dask zu laufen. Vieles von dem, was du im vorherigen Kapitel über Datenrahmen gelernt hast, lässt sich auf Dask-Arrays übertragen, ebenso wie vieles von dem, was du über ndarrays weißt.

Allgemeine Anwendungsfälle

Einige häufige Anwendungsfälle für Dask Arrays sind:

• Großflächige Bildgebungs- und Astronomiedaten

• Wetterdaten

• Mehrdimensionale Daten

Ähnlich wie bei Dask DataFrames und Pandas ist ein Dask-Array vielleicht nicht die richtige Lösung, wenn du für das Problem in kleinerem ...