Aprendizaje profundo desde cero

Apéndice A. Inmersiones profundas

En esta sección, profundizaremos en algunas áreas técnicas que es importante comprender para completar, pero que no son esenciales.

Regla de la cadena matricial

La primera es una explicación de por qué podemos sustituir ^WT por $\frac{\partial \nu }{\partial u}\left(X\right)$ en la expresión de la regla de la cadena del capítulo 1.

Recuerda que L es literalmente:

$$\sigma \left(X{W}_{11}\right)+\sigma \left(X{W}_{12}\right)+\sigma \left(X{W}_{21}\right)+\sigma \left(X{W}_{22}\right)+\sigma \left(X{W}_{31}\right)+\sigma \left(X{W}_{32}\right)$$

donde esto es una abreviatura del hecho de que:

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

$$\sigma \left(X{W}_{12}\right)=\sigma (x_{11}\times w_{12}+x_{12}\times w_{22}+x_{13}\times w_{32})$$

etc. Centrémonos en una sola de estas expresiones. ¿Qué aspecto tendría si tomáramos la derivada parcial de, digamos $\sigma \left(X{W}_{11}\right)$ con respecto a cada elemento de $X$ (que es en definitiva lo que querremos hacer con los seis componentes de $L$)?

Pues bien:

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

no es muy difícil ver que la derivada parcial de ésta con respecto a $x_1$mediante una aplicación muy sencilla de la regla de la cadena:

$$\frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{11}$$

Como lo único por lo que se multiplica _x11 en la expresión _XW11 es _w11, la derivada parcial respecto a todo lo demás es 0.

Así pues, al calcular la derivada parcial de σ(_XW11) con respecto a todos los elementos de X obtenemos la siguiente expresión global para $\frac{\partial \sigma \left(X{W}_{11}\right)}{\partial X}$:

$$\frac{\partial \sigma \left(X{W}_{11}\right)}{\partial X}=\left[\begin{array}{c}\frac{\partial }{}\end{array}\right]$$