Skalierung von Python mit Dask

Kapitel 2. Erste Schritte mit Dask

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wir freuen uns sehr, dass du dich entschieden hast, Dask auszuprobieren. In diesem Kapitel konzentrieren wir uns auf die ersten Schritte mit Dask im lokalen Modus. Auf diese Weise werden wir einige einfachere parallele Rechenaufgaben erforschen (darunter unser aller Lieblingsthema, die Wortzählung).¹

Lokale Installation von Dask

Die lokale Installation von Dask ist ziemlich einfach. Wenn du auf mehreren Rechnern arbeiten willst, ist es oft einfacher, wenn du mit einer conda-Umgebung (oder virtualenv) beginnst. So kannst du herausfinden, auf welche Pakete du angewiesen bist, indem du pip freeze ausführst, um sicherzustellen, dass sie auf allen Workern vorhanden sind, wenn es an der Zeit ist zu skalieren.

Du kannst zwar auch einfach pip install -U dask ausführen, aber wir bevorzugen eine conda-Umgebung, da es einfacher ist, die Python-Version an die eines Clusters anzupassen, und wir so einen lokalen Rechner direkt mit dem Cluster verbinden können.² Wenn du conda noch nicht auf deinem Rechner hast, ist Miniforge eine gute und schnelle Möglichkeit, um conda auf mehreren Plattformen zu installieren. Die Installation von Dask in einer neuen conda-Umgebung wird in Beispiel 2-1 gezeigt.

Beispiel 2-1. Dask in einer neuen conda Umgebung installieren

conda create -n dask python=3.8.6  mamba -y
conda activate dask mamba ...