データサイエンス設計マニュアル

350 11 章 機械学習

しかし、これでは出力層の係数が変わるだけである。その前の階層に下りるにはどうすればよいか。ここ

で注目

したいのは、ネットワークの直前の評価が、入力の関数としてこれらのノード 1 つ 1 つの出力を求め

ることだ。同じ訓練手順を繰り返すためには、階層 l −1 の各ノードのターゲット値に、訓練データの y

a

の

役割をさせる必要がある。y

a

と v

l

を計算するための新しい重みが与えられれば、y

i

を完璧に予測する階層

の出力値を計算できる。そして、ターゲットがあれば、このレベルの係数の重みを変更できる。ネットワー

クの最下層にある入力層に到達するまで、逆方向の伝播を続けていけばよい。

11.6.3 単語埋め込みとグラフ埋め込み

教師なし学習の複数の面白い問題にすぐに応用できるディープラーニングが 1 つある。この応用には、

ニューラルネットワークに馴染みのない広い範囲の人でも使えるというメリットもある。それは、単語の実

際の意味、あるいは機能の分散表現である単語埋め込みだ。

個々の単語は、例えば 100 次元空間の 1 つの点で表現される。そのため、同じような役割を持つ単語は、

近接する点で表現されることが多い。図 11 -15 は、GloVe 単語埋め込み [PSM14] により、いくつかの特徴

的な英単語の最近傍語を 5 個ずつ示している。誰が見ても、ここには個々の単語から連想されるさまざまな

意味が表現されていると感じるだろう。

単語埋め込みは、特定の機械学習アプリケーションにお ...