Deep Learning im Maßstab

Kapitel 6. Theoretische Grundlagen des verteilten Deep Learning

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

In diesem Kapitel werden die wichtigsten Konzepte und theoretischen Formulierungen des verteilten Deep Learning (DDL) vorgestellt, aufbauend auf deinen Kenntnissen aus Teil I dieses Buches. Du wirst zentralisierte und dezentralisierte Systeme (die im vorherigen Kapitel beschrieben wurden) durch die Linse der DDL betrachten und die Auswirkungen auf den Datenfluss und die Berechnungsgraphen bei der Verwendung dieser Techniken untersuchen. In diesem Kapitel lernst du auch die verschiedenen Arten des verteilten Lernens kennen und erfährst, wie du entscheiden kannst, welche Art von DDL am besten geeignet ist, um dein Training zu skalieren.

Verteiltes Deep Learning

In Kapitel 2 wurde der Datenfluss während des Trainings beschrieben und der Fluss der Gradientenberechnung, der den Vorwärts- und Rückwärtsdurchlauf umfasst, sowie der Fluss der Parameteraktualisierung, der von Optimierungstechniken wie dem Gradientenabstieg geleitet wird. Eine bildliche Darstellung dieser Abläufe ist in Abbildung 6-1 zu sehen. Wie in dieser Abbildung zu sehen ist, ist der Fluss der Gradientenberechnung (gekennzeichnet durch die durchgezogenen Pfeile) auf die Berechnungsgraphen beschränkt, während der Fluss der Parameteraktualisierung (gekennzeichnet durch die gestrichelten Pfeile) die Schleife schließt, um das ...