Pythonではじめる教師なし学習 ―機械学習の可能性を広げるラベルなしデータの利用

8.4

 最初のオートエンコーダ

173

tanh関数

tanh

（ハイパボリックタンジェント）関数の出力も−

1

から

1

の間の値に制約されている。勾配

はシグモイド関数よりも急だ。

ReLU関数

ReLU

関数は面白い性質を持つ。

Y

が正の値であれば、

ReLU

は

Y

を返す。正でなければゼロ

を返す。つまり

ReLU

の出力は

Y

が正の場合には制約されていない。

ソフトマックス関数

ソフトマックス関数は、クラス分類問題のためのニューラルネットワークの最後の活性化関数

として用いられる。出力のクラス分類確率を正規化し、合計が

1

になるようにする。

この

4

つの非線形活性化関数と比べると、線形活性化関数が最も単純で計算コストもかからない。

次に計算コストが安価なのは

ReLU

だ。

8.4

 最初のオートエンコーダ

まず

2

層のオートエンコーダからはじめよう。エンコーダとデコーダの双方に線形活性化関数を用い

る。ニューラルネットワークの層数を数える際には、隠れ層と出力層しか数えないことに注意しよう。

隠れ層が

1

層しかないので、これは

2

層ニューラルネットワークとなる。

このネットワークを

TensorFlow

と

Keras

で 構 築 す る に は、Sequentialモ デ ルAPIを 用 い る。

Sequential

モデルは層を積み重ねたモデルで、このモデルに用いる複数の層を与えて積層し、モデル

をコンパイルして、データを使って訓練する

＊

1

。

# Model one

# Two layer complete autoencoder with linear ...