ゼロからはじめるデータサイエンス 第2版 ―Pythonで学ぶ基本と実践

21.7

 リカレントニューラルネットワーク

■

331

変更された埋め込み層は、周囲の単語をベクトルのリストに変換します。新しい

Sum

層はベクトルのリストを単一のベクトルに折り畳み、線形層はソフトマックスを行った

スコアを生成します。ここから「このコンテキストの場合、最も可能性の高い単語」を

表す分布がわかります。

筆者の経験上、

CBOW

モデルは

skip-gram

モデルよりも学習が難しくなりますが、

ぜひ挑戦してみることをお勧めします。

21.7

 リカレントニューラルネットワーク

前のセクションで開発した単語ベクトルは、ニューラルネットワークへの入力として

使用されます。この際の課題の

1

つが、文の長さが変化することです。

3

ワードの文は

[3,

embedding_dim]

テンソル、

10

ワードの文は

[10,

embedding_dim]

テンソルと

考えることができます。例えば、それらを線形層に渡すには、可変長次元について何

らかの対応が必要です。

選択肢の

1

つは、

Sum

（ 合 計 ）層 ま た は

Average

（ 平 均 ）層 を 使 用 す る こ と で す 。 た だ

し、語の順序は重要です。一般的な例を挙げると、「

doc bites man

」（ 犬 が 人 間 を 噛 む ）

と「

man bites doc

」（人間が犬を噛む）では、全く別の意味になってしまいます。

これを処理する別の方法は、入力間で隠れ状態を維持するリカレントニューラル

ネットワーク（

Recurrent Neural Networks ...