
122
Chapitre 3. Entraînement de réseaux de neurones profonds
3.3 OPTIMISEURS PLUS RAPIDES
Lorsque le réseau de neurones profond est très grand, l’entraînement peut se révéler
péniblement lent. Jusqu’à présent, nous avons vu quatre manières d’accélérer l’en-
traînement (et d’atteindre une meilleure solution)
: appliquer une bonne stratégie
d’initialisation des poids des connexions, utiliser une bonne fonction d’activation,
utiliser la normalisation par lots, et réutiliser des parties d’un réseau préentraîné
(éventuellement construit à partir d’une tâche secondaire ou en utilisant un appren
-
tissage non supervisé). Nous pouvons également accélérer ...