詳説 Deep Learning ―実務者のためのアプローチ

4章深層ネットワークの主要なアーキテクチャー

芸術の母はアーキテクチャー（建築様式、構造）です。

自らにアーキテクチャーがなければ、自らの文明に魂は宿りません。

—— Frank Lloyd Wright

ここまでに、深層ネットワークでのいくつかの構成要素について見てきました。この章では、深層ネットワークの主要な4つのアーキテクチャーについて解説し、より小さなネットワークからこれらを組み立てる方法を紹介します。3章で、主要なネットワークアーキテクチャーは以下の4つであると述べました。

• 教師なしの事前訓練済みネットワーク（UPN）
• 畳み込みニューラルネットワーク（CNN）
• リカレントニューラルネットワーク
• リカーシブニューラルネットワーク

この章では、それぞれのアーキテクチャーを詳しく見ていきます。「2章　ニューラルネットワークとディープラーニングの基礎」で、ニューラルネットワーク一般でのアルゴリズムと数学について深い理解を試みました。ここからは、さまざまな深層ネットワークでのより高レベルなアーキテクチャーに注目し、これらのネットワークを実際に適用する際に必要な知識の習得をめざします。

比較的簡単に取り上げるネットワークもいくつかありますが、実際によく使われている2つのアーキテクチャーについては重点的に解説します。1つは画像のモデル化に使われるCNNで、もう1つはシーケンスのモデル化に使われるLSTM（Long Short-Term Memory。リカレントニューラルネットワークの一種）です。

4.1　教師なしの事前訓練済みネットワーク

以下の3つのアーキテクチャーは、このカテゴリーに分類されます。

• オートエンコーダー
• DBN（Deep Belief Network）