
484
Annexe A Solutions des exercices
La différentiation automatique en mode inverse effectue une passe en
avant sur le graphe de calcul, déterminant la valeur de chaque nœud
pour le lot d’entraînement courant, puis réalise une passe en arrière,
calculant tous les gradients en une seule fois (voir l’annexeB). Quelle
est donc la différence ? La rétropropagation fait référence à l’intégralité
du processus d’entraînement d’un réseau de neurones articiels, qui
implique plusieurs étapes de rétropropagation, chacune calculant des
gradients et utilisant ceux-ci pour effectuer une étape de descente
de gradient. En comparaison, la différentiation automatique ...