詳説 Deep Learning ―実務者のためのアプローチ

付録Dニューラルネットワークと誤差逆伝播：数学的アプローチ

Alex Black

D.1　導入

この付録では、ニューラルネットワークの訓練方法の基礎となる数学である誤差逆伝播アルゴリズム（backpropagation algorithm）を見ていきます。詳しく見ていく前に、一歩下がって、ニューラルネットワークを訓練する際に何をしようとしているか考えてみましょう。

過学習などの問題は別として、根本的には、ネットワークが正確な予測を生成するように、ニューラルネットワークのパラメーターを学習データに基づいて調整することを期待します。これに対する2つの構成要素が、正確な予測（accurate predictions）とパラメーターの調整（adjust the parameters）です。

いくつかの入力データを与えられて、サンプルのクラスをニューラルネットワークで予測するという、分類のタスクについて少し考えてみましょう。分類の予測がどれほど優れているかを定量化する方法は数多く存在します。精度、F1スコア、負の対数尤度などです。これらはどれも有効な尺度ですが、そのいくつかは他のものに比べて最適化が困難です。例えばネットワークの精度は、与えられた任意のパラメーターを少し変化させただけでは変化しない可能性があります。このように、勾配に基づく手法を使って精度の最適化を直接行うことはできません（つまり、「精度」は微分可能ではありません）。

逆に、別の尺度である負の対数尤度は、パラメーターの値を少し変えただけでも増減します。ネットワークによる予測の品質を定量化する尺度を、負の対数尤度のような微分可能な損失関数に限定し、ちょっとした微積分の計算を適用すると、ニューラルネットワークを学習するためのシンプルですっきりしたアルゴリズムができあがります。 ...