ゼロからのディープラーニング

付録A. ディープ・ダイブ

このセクションでは、完成のために理解することは重要だが、必須ではないいくつかの技術的な領域について深く掘り下げていく。

マトリックス・チェーン規則

まず、 、^WTを次のように置き換えることができる理由を説明する。 $\frac{\partial \nu }{\partial u}\left(X\right)$を第1章の連鎖規則式に当てはめる。

Lは文字通りであることを忘れてはならない：

$$\sigma \left(X{W}_{11}\right)+\sigma \left(X{W}_{12}\right)+\sigma \left(X{W}_{21}\right)+\sigma \left(X{W}_{22}\right)+\sigma \left(X{W}_{31}\right)+\sigma \left(X{W}_{32}\right)$$

という事実の省略形である：

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

$$\sigma \left(X{W}_{12}\right)=\sigma (x_{11}\times w_{12}+x_{12}\times w_{22}+x_{13}\times w_{32})$$

といった具合だ。これらの式の一つだけを拡大してみよう。偏微分をとるとどうなるか、 $\sigma \left(X{W}_{11}\right)$の各要素に関してである。 $X$(の6つの成分すべてに対して行いたいことである）。 $L$)?

まあ、それ以来だ：

$$\sigma \left(X{W}_{11}\right)=\sigma (x_{11}\times w_{11}+x_{12}\times w_{21}+x_{13}\times w_{31})$$

に対する偏微分であることを理解するのはそれほど難しくない。 $x_1$に関する偏微分であることは、連鎖律の非常に単純な適用によって容易に理解できる：

$$\frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{11}$$

_XW 11式で_x 11が掛けられるのは_w 11だけなので、それ以外に関する偏導関数は0である。

そこで、Xのすべての要素に関してσ(_XW11)の偏導関数を計算すると、次のような全体的な式が得られる。 $\frac{\partial \sigma \left(X{W}_{11}\right)}{\partial X}$:

$$\frac{\partial \sigma \left(X{W}_{11}\right)}{\partial X}=\left[\begin{array}{ccc}\frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{11}& \frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{21}& \frac{\partial \sigma }{\partial u}\left(X{W}_{11}\right)\times w_{31}\\ 0& 0& 0\\ 0& 0& 0\end{array}\right]$$

同様に、例えば、Xの各要素に関するσ(_XW32)の偏微分を計算することができる：

$$\left[\begin{array}{ccc}0& 0& 0\\ 0& 0& 0\\ \frac{\partial \sigma }{\partial u}\left(X{W}_{32}\right)\times w_{12}& \frac{\partial \sigma }{\partial u}\left(X{W}_{32}\right)\times w_{22}& \frac{\partial \sigma }{\partial u}\left(X{W}_{32}\right)\times w_{32}\end{array}\right]$$

これで、実際に計算するためのすべての構成要素が揃った。 $\frac{\partial \Lambda }{\partial X}\left(S\right)$を直接計算する。先の行列と同じ形の行列を6つ計算し、結果を足し合わせればよい。

高度なものではないが、再び計算が面倒になることに注意してほしい。以下の計算をスキップして、最終的に単純な式である結論に直行しても構わない。しかし、計算をすることで、結論が驚くほど単純であることをより理解できるだろう。そして、物事に感謝すること以外に、人生とは何のためにあるのだろうか？

ここには2つのステップがある。まず、次のように明示的に書き出す。 $\frac{\partial \Lambda }{\partial X}\left(S\right)$は今述べた6つの行列の和である： ...