仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

ため、

'車'

というトークンの埋め込みベクトルには、

' 新しい '

と

'黒い'

という形容詞の情報

が付与されることが期待されます。

このイメージを図1.3.4 に示します。実際の埋め込みベクトルは、数百次元以上のベクトル

で表されますが、ここでは3 次元のベクトルで表しています。「車」の埋め込みベクトルに対し

て、「新しい」や「黒い」といった形容詞の情報が付与されることで、埋め込みベクトルが保持

する情報が詳細化されます。ここでは、形容詞と名詞の関係に着目しましたが、実際には文章

全体の文脈やトークン間の関連性など、様々な情報が埋め込みベクトルに付与されます。

















図1.3.4



出力線形層の役割

出力線形層は

n#D

model

の行列（

n

個のトークン埋め込み）を入力とし、

n#|V |

の行列を出

力します。この行列は各トークンに対する後続トークンの確率分布を保持します。入力となる

トークン埋め込みベクトルは、

N

個のデコーダスタックを通過して更新されたものであり、

各トークンには様々な情報が付与されています。この層では、個々のトークン埋め込みベクト

ルを語彙数の次元のベクトルに変換し、それぞれのトークンに対する確率を計算します。つま

り、この層は各トークン埋め込みベクトルを後続トークンの確率分布に変換する役割を果たし

ます。

042