仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1



す。一つの注意機構はなんらかの観点でのトークン間の関連性を表しています。本節では、

「指示代名詞が何を指しているか」や「形容詞は何か」といった観点を例として挙げましたが、

デコーダの位置、注意機構ヘッドの位置ごとに異なる観点で様々なトークン間の関連性が計算

されることになります。

レイヤ正規化（Layer Normalization）

レイヤ正規化は、ニューラルネットワークの学習を安定化させるために、各層の出力を正規

化する手法です。具体的には、各トークン埋め込みベクトルの要素ごとに平均と分散を計算

し、それを用いて正規化を行います。これにより、勾配の消失や爆発を防ぎ、学習効率を向上

させます。

入力となる埋め込みベクトル

x!R

d

に対して、レイヤ正規化は次のように計算されます。

c b

d

x

d

x

x

LayerNorm

1

1

x

x x

i

i

i

i

i

i

2 2

2

平均

分散

正規化

9

n

v n

v e

n

=

= -

=

+

-

= +

]

]

]

]

]

g

g

g

g

g

W

W

!

!

ここで、

e

は分母がゼロになることを防ぐための小さな値、

c!R

d

はスケーリングのための

学習可能なパラメータ、

b!R

d

はバイアスのための学習可能なパラメータ、

9

は要素ごとの積

を表します。

フィードフォワードニューラルネットワーク

フィードフォワードニューラルネットワーク（FFNN）は、マスク付きマルチヘッド注意機

構で情報を追加したトークン埋め込みベクトルを入力とし、新たに加えるべき情報を作成しま

す。したがって、入力は

n#D

model

の行列であり、出力も

n#D

model ...