Deep Learning im Maßstab

Kapitel 9. Praktische Erfahrung mit der Skalierung über alle Dimensionen hinweg sammeln

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In Kapitel 8 wurden die theoretischen Konzepte und das Grundlagenwissen erörtert, das du brauchst, um das Modelltraining über die Datenparallelität hinaus zu skalieren, und es wurden Techniken für Modell-, Pipeline-, Tensor- und Hybridparallelität untersucht. Dieses Kapitel setzt diese Diskussion fort und vermittelt praktische Erfahrungen mit der Nutzung dieser verteilten Trainingsparadigmen. Du wirst auch einige Tools und Bibliotheken kennenlernen, die bei der vertikalen Skalierung nützlich sind, und DeepSpeed (eingeführt in der praktischen Übung Nr. 5 in Kapitel 7) unter dem Aspekt der vertikalen Skalierung näher kennenlernen. Am Ende des Kapitels findest du eine praktische Übung, mit der du ein automatisiertes multidimensionales Hybridtraining mit DeepSpeed durchführen kannst.

Praktische Übungen: Modell-, Tensor-, Pipeline- und Hybridparallelität

Auf wirst du in dieser Reihe von praktischen Übungen eine Empfehlungsmaschine für Filme erstellen. Du wirst das DeepFM-Modell nutzen, um einfache Implementierungen der vertikalen Skalierung zu erkunden. Bitte beachte, dass der Einsatz von Überwachungs-Tools und Profilen in diesen Übungen weitgehend weggelassen wurde, um die Implementierungen einfacher und nachvollziehbarer zu machen. Die in den Kapiteln 4 und 7