詳説 Deep Learning ―実務者のためのアプローチ

7章特定の深層ネットワークのアーキテクチャーへのチューニング

今あなたが知っていなければならないのは、

宇宙はあなたが思うよりもずっと複雑だということだけです。

たとえあなたが初めから、

宇宙がとっても複雑だと思っていたとしてもです。

—— Douglas Adams, 『Hitchhiker's Guide to the Galaxy』

この章では、「6章　深層ネットワークのチューニング」で学んだ深層ネットワークでの一般的なチューニングを発展させます。以下のアーキテクチャーについて、固有のチューニング方法を深く検討します。

• 畳み込みニューラルネットワーク（CNN）
• リカレントニューラルネットワーク
• DBN（Deep Belief Network）†1

  [†1] 訳注：現在では深層ネットワークの事前訓練のためにRBMを用いることは稀になり、DL4J 1.0.0-alpha以降、RBMレイヤーは削除されました。実際、RBMを利用したDBNの訓練手順を経ずとも、ReLUなどの活性化関数やドロップアウトなどの正則化手法を用いれば、多くの場合で事前訓練なしに深層ネットワークの訓練を行うことが可能となっています。

ディープラーニングがコンピュータービジョンの分野に多く適用されていることを踏まえ、まずはCNNアーキテクチャーのチューニングに取りかかることにしましょう。

7.1　CNN（畳み込みニューラルネットワーク）

CNNには、一般的なデザインパターンと畳み込みアーキテクチャーに固有のデザインパターンが見られます。一般的なデザインパターンについては、「6章　深層ネットワークのチューニング」ですでに紹介しました。ここからは、CNNのアーキテクチャー向けのテクニックを明らかにします。その多くは、畳み込み層とプーリング層の配置に関連するものです。 ...