Design Patterns für Machine Learning

Entwurfsmuster 14: Verteilungsstrategie

In der Verteilungsstrategie wird die Trainingsschleife insgesamt über mehrere Worker ausgeführt, oft mit Caching, Hardwarebeschleunigung und Parallelisierung.

Problem

Heutzutage ist es üblich, dass große neuronale Netze über Millionen von Parametern konfiguriert und auf riesigen Datenmengen trainiert werden. Es hat sich gezeigt, dass sich die Modellperformance beim Deep Learning durch Hochskalieren in Bezug auf die Anzahl der Trainingsbeispiele und/oder die Anzahl der Modellparameter drastisch verbessert. Mit zunehmender Größe von Modellen und Daten nehmen allerdings auch die Rechen- und Speicheranforderungen proportional zu, sodass die erforderliche Zeit zum Trainieren dieser Modelle zu einem der größten ...