GANs mit PyTorch selbst programmieren

ANHANG D

Instabiles Lernen

Gradientenabstieg – für das Training von GANs geeignet?

Beim Training von neuronalen Netzen suchen wir mit dem Gradientenabstieg einen Pfad entlang einer Verlustfunktion, um die Kombination von lernbaren Parametern zu finden, die den Fehler minimieren. Dies ist ein gut erforschter Bereich, und die heutigen Techniken sind sehr ausgereift. Ein gutes Beispiel ist der Adam-Optimierer.

Das dynamische Verhalten eines GAN unterscheidet sich von einem einfachen neuronalen Netz. Die Netze von Generator und Diskriminator versuchen, gegensätzliche Ziele zu erreichen. Es gibt Parallelen zwischen einem GAN und Konfliktspielen, bei denen der eine Spieler versucht, ein Ziel zu maximieren, während der andere darauf aus ist, das Ziel ...