ゼロから作るDeep Learning ❷ ―自然言語処理編

付録Asigmoid関数とtanh関数の微分

ニューラルネットワークでは活性化関数にさまざまな関数が使われます。ここでは、その代表格であるsigmoid関数とtanh関数を取り上げ、その2つの関数の微分を求める過程を異なる2つのアプローチで説明します。具体的には、sigmoid関数の微分は計算グラフを使い、tanhの微分は数式を展開して求めます。それぞれのアプローチを理解することで、微分の計算により親しくなれるでしょう。

A.1　sigmoid関数

sigmoid関数は次の式で表されます。

(A.1)

このとき、式(A.1)の計算グラフは図A-1のようになります。

図A-1　sigmoidレイヤの計算グラフ

図A-1では「×」と「+」ノードの他に、「exp」と「/」ノードがあります。expノードはy＝exp(x)の計算を行い、「/」ノードは、の計算を行います。それでは計算グラフを使って、ひとつずつ確認しながら逆伝播を行ってみます。

Step.1

「/」ノードはを表しますが、この微分は解析的に次の式によって表されます。 ...