Pythonではじめる教師なし学習 ―機械学習の可能性を広げるラベルなしデータの利用

7.7

 変分オートエンコーダ

167

で、出力行列がどのくらいスパースかをオートエンコーダが考慮するようにすればよい。スパースオー

トエンコーダは一般に過完備であることが多い。つまり隠れ層には入力特徴量の数よりも多くのユニッ

トがあるのだが、そのうちのごく一部しか同時にアクティブにならない。このように構成されたスパー

スオートエンコーダの出力行列には全体にゼロが多く、取得された情報は学習された特徴量全体に分

散する。

ある種の機械学習応用システムにおいては、スパースオートエンコーダのほうが性能が高い。また、

通常の（密な）オートエンコーダが学習するのとは多少異なる表現を学習する。あとで、実際の例を用

いて、これら

2

つのオートエンコーダの相違を見る。

7.6

 ノイズ除去オートエンコーダ

ここまでの説明でわかったと思うが、オートエンコーダは入力データから新しい（優れた）表現を学

習する。その際には、元データにある最も重要な要素を捉え、ノイズは無視する。

より積極的にデータ中のノイズを無視するようなオートエンコーダを設計したい場合がある。例え

ば、元データがある程度壊れていると思われる場合だ。日中のうるさいコーヒーショップで

2

人の会話

を録音したとしよう。会話（信号）を背景のおしゃべりから（ノイズ）分離したい。あるいは解像度が低

いまたは手ブレのせいで、ザラザラしていたり歪んでいたりする画像データセットを考えてみよう。こ

の場合には画像の本質部（信号）を歪み（ノイズ）から分離したくなるだろう。

このような問題に対し