詳説 Deep Learning ―実務者のためのアプローチ

6章深層ネットワークのチューニング

すべてのものは毒性です。毒性を持たないものはありません。

本当に毒かどうかは、その量によってのみ決まります。

—— Paracelsus（https://en.wikipedia.org/wiki/Paracelsus。15世紀ルネサンス時代の医師、植物学者、錬金術師、占星術師、オカルト信仰者）

6.1　深層ネットワークのチューニングに関する基本的な考え方

この章では、ニューラルネットワークを訓練するための手法や方針について議論します。具体的には、以下のような点を取り上げます。

• 目前の問題に適したネットワークアーキテクチャーの選択
• ハイパーパラメーターのチューニングの基礎
• 学習のプロセスに対するより良い理解

もちろん、ディープラーニングの分野で知られているチューニングの研究を網羅することはできません。本書では、最も重要な資料を選び、深層アーキテクチャーのチューニングにとって欠かせない概念を紹介します。そして「7章　特定の深層ネットワークのアーキテクチャーへのチューニング」では、ディープラーニングで最も有名な次のアーキテクチャーについて、チューニングのテクニックを解説します。

• DBN（Deep Belief Network）
• CNN（Convolutional Neural Network）
• リカレントニューラルネットワーク

まずは、さまざまな目標に対してどのようなニューラルネットワークを作成するべきかという点について、一般的な考え方あるいは直感的な方針を明らかにします。

RBMのチューニング RBM（Restricted Boltzmann Machine）のチューニングについてはDBNのコンテキストの中で議論します。

6.1.1　 ...