
262
11
章 深層信念ネットワークを用いた特徴量検出
教師なし学習で強化した場合の訓練対数損失と検証対数損失を下に示す。
Training Log Loss: 0.004145635328203315
Validation Log Loss: 0.16377638170016542
教師なし学習で強化したクラス分類器の全体の精度を下に示す。
DBN-Based Solution Accuracy: 0.9525
見てわかる通り
1%
弱の性能向上が得られている。これはなかなかのものだ。
11.8
まとめ
「10 章 制限付きボルツマンマシンを用いた推薦システム」では、最初の生成モデルとして制限付き
ボルツマンマシンを紹介した。本章では、制限付きボルツマンマシンに基づいたより進んだ生成モデ
ルである深層信念ネットワークを紹介した。これは、複数の
RBM
を積み重ねたものだ。
まず、完全に教師なしでの
DBN
の動作を示した。
DBN
はデータの背後にある構造を学習し学習し
た内容を用いて新たなデータを合成することができる。合成したデータと元のデータを比較し、合成
データが元データとより近くなるように改善することで、生成能力を向上させる。さらに、
DBN
で合
成したデータを元から存在するラベル付きデータセットに追加することで、訓練セットのサイズを拡張
し、教師あり学習モデルの性能を向上できることを示した。
DBN
(教師なし学習)と勾配ブースティング(教師あり学習)を用いて開発した半教師あり学習による
手法は、ラベルを削減した
MNI ...