
8.9
線形活性化関数を用いたスパース過完備オートエンコーダ
191
8.9
線形活性化関数を用いたスパース過完備オートエンコーダ
次は、スパース性制約を用いた正則化手法を試してみよう。この手法では、行列のスパース性を考
慮に入れるよう強制する。つまり、オートエンコーダの大半のニューロンが多くの場合活性化しないよ
うにするのだ。こうするとオートエンコーダは、ノードが活性化しないため観測点に対して簡単には過
剰適合できなくなるので、過完備であっても恒等関数を記憶することが難しくなる。
先程と同様に、隠れ層が
1
層
40
ノードの過完備オートエンコーダを用いるが、スパース制約だけを
入れ、ドロップアウトは使わない。
平均適合率が
0.21
より良くなるか見てみよう。
model = Sequential()
model.add(Dense(units=40, activation='linear', \
activity_regularizer=regularizers.l1(10e-5), input_dim=29))
model.add(Dense(units=29, activation='linear'))
このオートエンコーダの損失を下に示す。また、図 8-7に、平均適合率、適合率
-
再現率曲線、
auROC
曲線を示す。
Train on 190820 samples, validate on 190820 samples
Epoch 1/10
190820/190820 [==============================] ...