
Différentiation
automatique
Cette annexe explique comment fonctionne la différentiation automatique dans
TensorFlow et la compare à d’autres solutions.
Supposons que nous dénissions la fonction f(x, y) = x
2
y + y + 2 et que nous
ayons besoin de ses dérivées partielles ∂f/∂x et ∂f/∂y, par exemple pour effectuer une
descente de gradient (ou tout autre algorithme d’optimisation). Nous avons le choix
entre une différentiation manuelle, une approximation par différences nies, une
différentiation automatique en mode direct et une différentiation automatique en
mode inverse. TensorFlow met en œuvre cette dernière solution, mais pour bien la
comprendre, ...