Deep Learning

Anhang D. Neuronale Netze und Backpropagation: Eine mathematische Herangehensweise

Alex Schwarz

Einführung

In diesem Anhang werden wir uns die Mathematik ansehen, die dem Training neuronaler Netze zugrunde liegt: den Backpropagation-Algorithmus. Doch bevor wir uns damit beschäftigen, sollten wir einen Schritt zurücktreten und uns die Frage stellen: Was wollen wir erreichen, wenn wir ein neuronales Netz trainieren?

Im Kern geht es darum (abgesehen von Problemen wie der Überanpassung), dass der Trainingsprozess die Parameter des neuronalen Netzes (auf der Grundlage der Trainingsdaten) so anpasst, dass das Netz genaue Vorhersagen macht. Die beiden Komponenten dafür sind genaue Vorhersagen und die Anpassung der Parameter.

Betrachten wir für einen Moment die Aufgabe der Klassifizierung, bei der das neuronale Netz eine Klasse des Beispiels anhand einiger Eingabedaten vorhersagen soll. Es gibt viele verschiedene Möglichkeiten, die Güte von Klassifizierungsvorhersagen zu messen: Genauigkeit, F1-Score, negative Log-Likelihood und so weiter. All dies sind gültige Maßstäbe, aber einige von ihnen sind viel schwieriger zu optimieren als andere. Zum Beispiel kann sich die Genauigkeit unseres Netzwerks nicht ändern, wenn wir einen bestimmten Parameter in unserem Netzwerk nur geringfügig ändern. Daher ist eine direkte Optimierung der Genauigkeit mit gradientenbasierten Methoden nicht möglich (d. h. "Genauigkeit" ist nicht differenzierbar).

Umgekehrt steigen oder sinken andere Maße wie die negative ...