ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装

3章ニューラルネットワーク

前章ではパーセプトロンについて学びましたが、パーセプトロンについては良いニュースと悪いニュースがありました。良いニュースとは、パーセプトロンは複雑な関数であっても、それを表現できるだけの可能性を秘めているということです。たとえば、コンピュータが行うような複雑そうな処理であっても、パーセプトロンは（理論上）表現できることを前章で説明しました。悪いニュースは、重みを設定する作業——期待する入力と出力を満たすように適切な重みを決める作業——は、今のところ人の手によって行われているということです。前章では、ANDやORゲートの真理値表を見ながら、私たち人間が適切な重みを決めました。

ニューラルネットワークは、先の悪いニュースを解決するためにあります。具体的に言うと、適切な重みパラメータをデータから自動で学習できるというのがニューラルネットワークの重要な性質のひとつです。本章では、ニューラルネットワークの概要を説明し、ニューラルネットワークが識別を行う際の処理に焦点を当てます。そして、次章にて、データから重みパラメータを学習する方法を学びます。

3.1　パーセプトロンからニューラルネットワークへ

ニューラルネットワークは、前章で説明したパーセプトロンと共通する点が多くあります。ここでは、前章のパーセプトロンと異なる点を中心に、ニューラルネットワークの仕組みを解説していきます。

3.1.1　ニューラルネットワークの例

ニューラルネットワークを図で表すと、図3-1のようになります。ここで、一番左の列を入力層、一番右の列を出力層、中間の列を中間層と呼びます。中間層は隠れ層と呼ぶこともあります。「隠れ」という言葉は、隠れ層のニューロンが（入力層や出力層とは違って）人の目には見えない、ということを表しています。なお、本書では、入力層から出力層へ向かって、順に第0層、第1層、第2層と呼ぶことにします（層の番号を0から開始する理由は、後ほどPythonで実装する際に都合が良いためです）。 ...