Deep Learning für Programmierer mit fastai und PyTorch

Kapitel 16. Der Ausbildungsprozess

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Du weißt jetzt, wie du hochmoderne Architekturen für Computer Vision, natürliche Sprachverarbeitung, Tabellenanalyse und kollaboratives Filtern erstellen kannst, und du weißt, wie du sie schnell trainieren kannst. Das war's dann, oder? Noch nicht ganz. Wir müssen noch ein wenig mehr über den Trainingsprozess erfahren.

In Kapitel 4 haben wir die Grundlage des stochastischen Gradientenabstiegs erklärt: Übergib dem Modell einen Mini-Batch, vergleiche ihn mit unseremZiel mit der Verlustfunktion und berechne dann die Gradienten dieser Verlustfunktion in Bezug auf jedes Gewicht, bevor du die Gewichte mit der Formel aktualisierst:

new_weight = weight - lr * weight.grad

Wir haben dies von Grund auf in einer Trainingsschleife implementiert und gesehen, dass PyTorch eine einfache nn.SGD Klasse bereitstellt, die diese Berechnung für jeden Parameter für uns übernimmt. In diesem Kapitel werden wir einige schnellere Optimierer bauen und dabei eine flexible Grundlage nutzen. Aber das ist noch nicht alles, was wir im Trainingsprozess ändern wollen. Für jede Änderung in der Trainingsschleife brauchen wir eine Möglichkeit, der SGD-Basis Code hinzuzufügen. Die fastai-Bibliothek verfügt über ein System von Callbacks, um dies zu tun, und wir werden dir alles darüber beibringen.

Beginnen wir mit der Standard-SGD, um eine Grundlage zu ...