从零开始学习深度学习

附录 A. 深度调查

在本节中，我们将深入探讨对完成工作非常重要但并非必不可少的几个技术领域。

矩阵链规则

首先， ，解释为什么我们可以用^WT代替 $\frac{\partial \nu }{\partial u}\left(X\right)$在第 1 章的链式规则表达式中。

记住，L是字面意思：

$$\sigma \left(X{W}_{11}\right)+\sigma \left(X{W}_{12}\right)+\sigma \left(X{W}_{21}\right)+\sigma \left(X{W}_{22}\right)+\sigma \left(X{W}_{31}\right)+\sigma \left(X{W}_{32}\right)$$

在这里，这是一个事实的简称：

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

$$\sigma \left(X{W}_{12}\right)=\sigma (x_{11}\times w_{12}+x_{12}\times w_{22}+x_{13}\times w_{32})$$

等等。让我们放大这些表达式中的一个。比如说，如果我们对 σ 进行偏导数运算，结果会是怎样？ $\sigma \left(X{W}_{11}\right)$关于 $X$(的所有六个分量（这也是我们最终要对 $L$)?

嗯，因为

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

不难看出，与 $x_1$的偏导数：

$$\frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{11}$$

由于_XW11表达式中_x11乘以的唯一值是_w11，因此相对于其他值的偏导数为 0。

因此，计算σ(_XW11)相对于X的所有元素的偏导数，可以得到以下总体表达式 $\frac{\partial \sigma \left(X{W}_{11}\right)}{\partial X}$:

$$\frac{\partial \sigma \left(X{W}_{11}\right)}{\partial X}=\left[\begin{array}{ccc}\frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{11}& \frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{21}& \frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{31}\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

同样，我们可以计算出σ(_XW32) 相对于X 的每个元素的偏导数：

$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ \frac{\partial \sigma }{\partial u}\left(X{W}_{32}\right)\times w_{12}& \frac{\partial \sigma }{\partial u}\left(X{W}_{32}\right)\times w_{22}& \frac{\partial \sigma }{\partial u}\left(X{W}_{32}\right)\times w_{32}\end{array}\right]$$

现在我们有了实际计算的所有组件 $\frac{\partial \Lambda }{\partial X}\left(S\right)$直接计算。我们只需计算与前面矩阵形式相同的六个矩阵，然后将结果相加即可。

请注意，数学运算再次变得混乱，不过并不复杂。你可以跳过下面的计算，直接看结论，结论最终是一个简单的表达式。但是，通过计算，你会更深刻地体会到结论是多么出人意料的简单。除了欣赏，生活还有什么意义呢？

这里只有两个步骤。首先，我们要明确写出 $\frac{\partial \Lambda }{\partial X}\left(S\right)$是上述六个矩阵之和：

$$\frac{\partial \Lambda }{\partial X}\left(S\right)=\frac{\partial \sigma \left(X{W}_{11}\right)}{\partial X}+\frac{\partial \sigma \left(X{W}_{12}\right)}{\partial X}+\frac{\partial \sigma \left(X{W}_{21}\right)}{\partial X}+\frac{\partial \sigma \left(X{W}_{22}\right)}{\partial X}+\frac{\partial \sigma \left(X{W}_{31}\right)}{\partial X}+\frac{\partial \sigma \left(X{W}_{32}\right)}{\partial X}=\left[\begin{array}{ccc}\frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{11}& \frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{21}& \frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{31}\\ 0& 0& 0\\ 0\end{array}\right]$$