Python mit Ray skalieren

Kapitel 11. Verwendung von GPUs und Beschleunigern mit Ray

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Ray ist zwar in erster Linie auf horizontale Skalierung ausgerichtet, aber manchmal kann der Einsatz von speziellen Beschleunigern wie GPUs billiger und schneller sein, als einfach mehr "normale" Rechenknoten auf ein Problem zu werfen. GPUs eignen sich gut für vektorisierte Operationen, bei denen dieselbe Operation auf mehrere Datenpakete gleichzeitig angewendet wird. ML und allgemeiner die lineare Algebra sind einige der wichtigsten Anwendungsfälle,¹ denn Deep Learning ist unglaublich vektorisierbar.

Oft sind GPU-Ressourcen teurer als CPU-Ressourcen, daher macht es die Architektur von Ray einfach, GPU-Ressourcen nur bei Bedarf anzufordern. Um die Vorteile von GPUs zu nutzen, musst du spezielle Bibliotheken verwenden, und da diese Bibliotheken mit direktem Speicherzugriff arbeiten, sind ihre Ergebnisse nicht immer seriell verfügbar. In der Welt des GPU-Computing sind NVIDIA und in geringerem Maße AMD die beiden wichtigsten Optionen mit unterschiedlichen Bibliotheken zur Integration.

Wozu sind Grafikprozessoren gut?

Nicht jedes Problem eignet sich für die GPU-Beschleunigung. GPUs sind besonders gut darin, dieselbe Berechnung für viele Datenpunkte gleichzeitig auszuführen. Wenn sich ein Problem gut für die Vektorisierung eignet, ist die Wahrscheinlichkeit groß, dass auch GPUs gut dafür geeignet ...