Praxiseinstieg Machine Learning mit Scikit-Learn und TensorFlow

KAPITEL 11

Trainieren von Deep-Learning-Netzen

In Kapitel 10 haben wir künstliche neuronale Netze besprochen und unser erstes Deep-Learning-Netz trainiert. Es war aber ein sehr flaches DNN mit nur zwei verborgenen Schichten. Wie lässt sich eine sehr komplexe Aufgabe wie das Erkennen Hunderter Gegenstände in hochauflösenden Bildern angehen? Dazu müssen Sie ein weitaus tieferes DNN mit (z.B.) 10 Schichten aus jeweils Hunderten Neuronen und Hunderttausenden Verbindungen trainieren. Das wird kein Spaziergang:

• Erstens tritt bei Deep-Learning-Netzen das Problem der schwindenden Gradienten auf (oder das verwandte Problem der explodierenden Gradienten), was das Trainieren der ersten Schichten erheblich erschwert.
• Zweitens wird das Trainieren bei einem ...