Skalierung von Python mit Dask

Kapitel 7. Hinzufügen von änderbaren/veränderbaren Zuständenmit Dask-Aktoren

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Dask ist auf die Skalierung von analytischen Anwendungsfällen ausgerichtet, aber du kannst es auch für viele andere Arten von Problemen verwenden. Die meisten Werkzeuge, die du bisher in Dask verwendet hast, sind funktional. Funktionale Programmierung bedeutet, dass frühere Aufrufe keine Auswirkungen auf zukünftige Aufrufe haben. Zustandslose Funktionen sind in verteilten Systemen wie Dask üblich, da sie im Fehlerfall sicher mehrfach ausgeführt werden können. Die Aktualisierung der Gewichte eines Modells während des Trainings ist ein Beispiel für einen in der Datenwissenschaft üblichen Zustand. Eine der gebräuchlichsten Methoden, um Zustände in einem verteilten System zu behandeln, ist das Akteursmodell. In diesem Kapitel werden sowohl das allgemeine Akteursmodell als auch die spezielle Implementierung von Dask vorgestellt.

Dask-Futures bieten einen nicht veränderbaren verteilten Zustand, bei dem die Werte auf den Workern gespeichert werden. Dies eignet sich jedoch nicht für Situationen, in denen du den Status aktualisieren möchtest, wie z. B. die Änderung eines Kontostands (eine alternative Lösung wird in Beispiel 7-1 gezeigt) oder die Aktualisierung der Gewichte von Machine Learning-Modellen während des Trainings.

Tipp

Dask-Akteure haben eine Reihe von Einschränkungen, ...