Pythonではじめる教師なし学習 ―機械学習の可能性を広げるラベルなしデータの利用

166

7

章 オートエンコーダ

オートエンコーダはこの制約下で損失関数（

loss function

）を最小化する。損失関数は、再構成誤差

（デコーダが観測点をエンコーダの出力を用いて近似的に再構成したものと元の観測点の差）が可能な

限り小さくなるように定義される。次元数が制約されるのは隠れ層だけだということに注意しよう。エ

ンコーダの出力は元の入力よりも低次元になっているが、デコーダが出力するのは、元のデータを再構

成したものなので、元データと同じ次元数となる。

デコーダが線形で損失が平均二乗誤差である場合には、未完備オートエンコーダは

3

章で紹介した

次元削減手法の

1

つである

PCA

が学習するのと同じ種類の表現を学習する。しかし、エンコーダ関数

とデコーダ関数が非線形であれば、オートエンコーダははるかに複雑な非線形表現を学習できる。わ

れわれにとって重要なのはこの点だ。ここで注意すべき点がある。オートエンコーダの複雑で非線形

な表現をモデル化する容量が大きすぎると、元の観測点を記憶してコピーするだけで、重要な情報の

抽出を行わなくなってしまう。したがって、オートエンコーダを十分に制約してこのようなことが起こ

らないようにしなければならない。

7.4

 過完備オートエンコーダ

エンコーダが元の入力次元数よりも大きい次元数の表現を学習する場合には、オートエンコーダは

過完備であると呼ばれる。そのようなオートエンコーダは、未完備オートエンコーダのように元データ

の分布を効率的かつコンパクトに捉えるように強制されないので、元の ...