scikit-learn、Keras、TensorFlowによる実践機械学習 第2版

付録Eその他の広く知られているANNアーキテクチャ

この付録では、今でこそ深層MLP（10章）、CNN（14章）、RNN（15章）、オートエンコーダ（17章）と比べて使われることは少なくなったが、歴史的に重要な意味を持つニューラルネットワーク・アーキテクチャのいくつかについて簡単に説明する。これらは文献のなかでよく言及され、一部は多くのアプリケーションでまだ使われているので、知っておいて損はない。さらに、2010年代初頭まで深層学習の最先端だったDBN（deep belief network）も取り上げる。DBNは、今でも活発に研究されているテーマであり、近い将来に復活してくるかもしれない。

E.1　ホップフィールドネットワーク

ホップフィールドネットワーク（Hopefield network）は、1974年にW. A. Littleが初めて提案し、1982年にJhon Hopfieldが広めたものである。これは連想記憶（associative memory）ネットワークで、最初に何らかのパターンを教えておくと、新しいパターンを与えたときにそれにもっとも近い学習済みパターンを出力する。そのため、ほかのアプローチに追い越されるまでは、特に文字認識でよく使われていた。文字画像の例を示してネットワークを訓練し（1つのニューロンに個々の2値ピクセルがマッピングされる）、新しい文字画像を示すと、数イテレーションののちに、学習した文字のなかでもっとも近いものを出力する。

ホップフィールドネットワークは全結合グラフ（図E-2）である。つまり、すべてのニューロンがほかのすべてのニューロンと接続されている。図では、画像はピクセルなので、左側のネットワークには36個のニューロン（そして630の接続）が含まれていなければならないところだが、見てわかりやすいようにそれよりもずっと小さいネットワークを示している。 ...