Pythonではじめる教師なし学習 ―機械学習の可能性を広げるラベルなしデータの利用

8.8

 線形活性化関数を用いドロップアウトを適用した過完備オートエンコーダ

189

8.8

 線形活性化関数を用いドロップアウトを適用した過完備

オートエンコーダ

過完備オートエンコーダシステムを改良する方法の

1

つとして正則化技術を用いて、過剰適合を削減

する方法が考えられる。ドロップアウト（

dropout

）は こ の よ う な 技 術 の

1

つだ。ドロップアウトを使う

と、オートエンコーダのネットワークの層内のユニットを、指定した割合だけ「ドロップ」つまり一時的

に使わないようにする。

このような制約を与えられると、過完備オートエンコーダは単純に訓練セットのクレジットカードト

ランザクションを記憶するわけにはいかなくなるので、オートエンコーダは汎化される。つまりデータ

セットの重要な特徴を学習し、あまり重要でない特徴を捨てるように強制される。

隠れ層に適用するドロップアウト率を

10%

とした。つまりニューロンのうち

10%

が使われないとい

うことだ。ドロップアウト率を増やすと、正則化が強力になる。これは、

1

行追加するだけで実現できる。

結果が良くなるか確かめてみよう。

model = Sequential()

model.add(Dense(units=40, activation='linear', input_dim=29))

model.add(Dropout(0.10))

model.add(Dense(units=29, activation='linear'))

このオートエンコーダの損失を下に示す。また ...