Deep learning en action

ANNEXE D Réseaux de neurones et rétropropagation : une approche mathématique

Alex Black

Dans cette annexe, nous examinerons les mathématiques qui sous-tendent l’entraînement sur les réseaux de neurones : l’algorithme de rétropropagation. Mais avant de plonger dans cet univers, prenons un peu de recul et posons-nous la question suivante : qu’essayons-nous de faire en entraînant un réseau de neurones ?

À la base (pour des problèmes tels que le surapprentissage), nous voulons que le processus d’entraînement ajuste les paramètres du réseau de neurones (en se basant sur les données d’entraînement) de sorte que le réseau génère des prédictions exactes. Les deux composants décrits ici sont prédictions exactes et ajuster les paramètres.

Considérons un instant ...