Apprentissage profond à partir de zéro

Annexe A. Plongées profondes

Dans cette section, nous plongeons en profondeur dans quelques domaines techniques qu'il est important de comprendre pour terminer, mais qui ne sont pas essentiels.

Règle de la chaîne matricielle

La première est une explication de la raison pour laquelle nous pouvons remplacer ^WT par $\frac{\partial \nu }{\partial u}\left(X\right)$ dans l'expression de la règle de la chaîne du chapitre 1.

N'oublie pas que L est littéralement :

$$\sigma \left(X{W}_{11}\right)+\sigma \left(X{W}_{12}\right)+\sigma \left(X{W}_{21}\right)+\sigma \left(X{W}_{22}\right)+\sigma \left(X{W}_{31}\right)+\sigma \left(X{W}_{32}\right)$$

où ceci est une abréviation pour le fait que :

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

$$\sigma \left(X{W}_{12}\right)=\sigma (x_{11}\times w_{12}+x_{12}\times w_{22}+x_{13}\times w_{32})$$

et ainsi de suite. Concentrons-nous sur une seule de ces expressions. À quoi cela ressemblerait-il si nous prenions la dérivée partielle de, disons, $\sigma \left(X{W}_{11}\right)$ par rapport à chaque élément de $X$ (ce qui est en fin de compte ce que nous voulons faire avec les six composantes de $L$) ?

Eh bien, depuis :

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

il n'est pas difficile de voir que la dérivée partielle de cette valeur par rapport à $x_1$par une application très simple de la règle de la chaîne, est :

$$\frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{11}$$

Puisque la seule chose par laquelle _x11 est multipliée dans l'expression _XW11 est _w11, la dérivée partielle par rapport à tout le reste est 0.

Ainsi, le calcul de la dérivée partielle ...