Skalierung von Python mit Dask

Kapitel 10. Dask mit GPUs und anderenspeziellen Ressourcen

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Manchmal liegt die Antwort auf unser Skalierungsproblem nicht darin, dass wir mehr Computer einsetzen, sondern darin, dass wir verschiedene Arten von Ressourcen einsetzen. Ein Beispiel dafür sind zehntausend Affen, die versuchen, die Werke von Shakespeare zu reproduzieren, im Vergleich zu einem Shakespeare.¹ Die Leistung schwankt zwar, aber einige Benchmarks haben gezeigt, dass die Trainingszeiten für die Modelle um bis zu 85 % schneller sind, wenn GPUs gegenüber CPUs eingesetzt werden. Die GPU-Logik von Dask ist modular aufgebaut und findet sich in den Bibliotheken und dem Ökosystem wieder, die sie umgeben. Die Bibliotheken können entweder auf einer Sammlung von GPU-Workern laufen oder die Arbeit auf verschiedenen GPUs auf einem Host parallelisieren.

Die meisten Aufgaben, die wir auf dem Computer erledigen, werden von der CPU erledigt. Grafikprozessoren (GPUs) wurden für die Darstellung von Videos entwickelt, führen aber auch große Mengen an vektorisierten Fließkommaoperationen (z. B. nicht-ganzzahlige Operationen) durch. Bei vektorisierten Operationen wird dieselbe Operation parallel auf große Datenmengen angewandt, z. B. auf map. Tensor Processing Units (TPUs) ähneln den GPUs, nur dass sie nicht auch für Grafiken verwendet werden.

Für unsere Zwecke in Dask können wir uns GPUs und TPUs ...