ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

6章学習に関するテクニック

本章では、ニューラルネットワークの学習においてキーとなる重要なアイデアを説明します。本章で取り上げるテーマは、最適な重みパラメータを探索する最適化手法、重みパラメータの初期値、ハイパーパラメータの設定方法など、どれもがニューラルネットワークの学習において重要なテーマです。また、過学習の対応策として、Weight decayやDropoutなどの正則化手法について概要を説明し、その実装を行います。最後に、近年多くの研究で使用されるBatch Normalizationという手法についても簡単な説明を行います。本章で述べる手法を用いることで、ニューラルネットワーク（ディープラーニング）の学習を効率的に進めることができ、認識精度を高めることができます。それでは、先に進みましょう。

6.1　パラメータの更新

ニューラルネットワークの学習の目的は、損失関数の値をできるだけ小さくするパラメータを見つけることです。これは最適なパラメータを見つける問題であり、そのような問題を解くことを最適化（optimization）と言います。残念なことに、ニューラルネットワークの最適化はとても難しい問題です。というのは、パラメータ空間は非常に複雑であり、最適な解は簡単に見つけられないからです（数式を解いて、一瞬で最小値を求めるといったような方法はとれません）。さらに、ディープなネットワークでは、パラメータの数が膨大になり、事態はより深刻になってきます。

私たちはこれまで、最適なパラメータを見つけるために、パラメータの勾配（微分）を手がかりにしました。パラメータの勾配を使って、勾配方向にパラメータを更新するというステップを何度も繰り返して、徐々に最適なパラメータへと近づけていったのです。それは、 ...