
102
Chapitre 3. Entraînement de réseaux de neurones profonds
même lorsque les données étiquetées sont peu nombreuses. Puis nous examinerons
différents optimiseurs qui permettent d’accélérer énormément l’entraînement des
grands modèles. Enn, nous décrirons quelques techniques de régularisation adaptées
aux vastes réseaux de neurones.
Armés de ces outils, nous serons en mesure d’entraîner des réseaux très profonds
:
bienvenue dans le monde du Deep Learning!
3.1 PROBLÈMES DE DISPARITION ET D’EXPLOSION
DES GRADIENTS
Nous l’avons expliqué au chapitre2, l’algorithme de rétropropagation opère de la
couche de sortie vers la couche d’entrée, en propageant ...