November 2021
Intermediate to advanced
432 pages
13h 22m
German
In der Verteilungsstrategie wird die Trainingsschleife insgesamt über mehrere Worker ausgeführt, oft mit Caching, Hardwarebeschleunigung und Parallelisierung.
Heutzutage ist es üblich, dass große neuronale Netze über Millionen von Parametern konfiguriert und auf riesigen Datenmengen trainiert werden. Es hat sich gezeigt, dass sich die Modellperformance beim Deep Learning durch Hochskalieren in Bezug auf die Anzahl der Trainingsbeispiele und/oder die Anzahl der Modellparameter drastisch verbessert. Mit zunehmender Größe von Modellen und Daten nehmen allerdings auch die Rechen- und Speicheranforderungen proportional zu, sodass die erforderliche Zeit zum Trainieren dieser Modelle zu einem der größten ...
Read now
Unlock full access