仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1



2. 各位置

pos

に対して、

x

complex

の要素ごとに異なる周波数に基づいた回転角度を計算しま

す。

pos

1

pos

Dk2

head

$

i

i

=

ここで、

i

は定数で、大きな値（通常は10000）を取ります。

k

は

x

complex

における次元イ

ンデックス、

D

head

は1 ヘッドあたりの次元数です。

3. 複素数の乗算として、

x

complex

の各要素（複素平面上の点）を原点を中心に

i

pos

だけ回転さ

せ、入力ベクトルに位置情報を付与します。

x

rotated

=

x

complex

# e

ii

pos

4. 最後に、1 と逆の操作で複素数ベクトルを元の実数ベクトルの形式に戻します。

これにより入力ベクトルが位置に応じて回転され、位置情報が効果的に組み込まれます。

正規化手法の変更

元のTransformer では、レイヤ正規化（Layer Normalization）を入れることで各層の出力を

正規化していました。Llama 3では、RMSNorm（Root Mean Square Layer Normalization）

[Zhang et al. 2019] を採用しています。RMSNormは平均と分散を使うのではなく、二乗平均

平方根（RMS）を使って正規化を行います。RMSNormは少ない計算量でレイヤ正規化と同等

の精度を実現可能とされています。

RMSNormの計算式は次のとおりです。

c

d

x

1

RMSNor

m x

x

i

i

d

2

1

9

e

=

+

=

]

f

g

p

!

ここで、

d

はベクトルの次元数、

e

は安定性のための微小値 ...