13
Das Mini-Batch-Verfahren
Mit dem Gradientenverfahren sind Sie mittlerweile gut vertraut. In diesem Kapitel lernen Sie eine verbesserte Variante kennen: das Mini-Batch-Gradientenverfahren.
Es ist etwas komplizierter als das normale Gradientenverfahren, konvergiert gewöhnlich aber schneller, was bedeutet, dass es sich dem Verlustminimum schneller annähert und damit das Training beschleunigt. Darüber hinaus belegt es weniger Speicher und findet manchmal sogar einen geringeren Verlust als die reguläre Vorgehensweise. Nach der Lektüre dieses Kapitels werden Sie das einfache Gradientenverfahren wahrscheinlich nie wieder verwenden.
Vielleicht fragen Sie sich, warum wir uns hier auf die Trainingsgeschwindigkeit konzentrieren, obwohl doch viel dringendere ...
Get Machine Learning für Softwareentwickler now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
