仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1



ています。

W

1

によって入力

x

に変換を加えSiLUに通した後、

W

2

による線形変換を掛け合わ

せることで入力に応じてゲートを開閉し、重要な情報を選択的に通過させることができます。

注意機構のキーとバリューのヘッド数の変更

元のTransformer では、クエリ、キー、バリューすべてが同じ数のヘッド数

h

を持ってい

ました。Llama3 では、キーとバリューのヘッド数（

h

kv

）をクエリのヘッド数（

h

）よりも少な

く設定しています。これは、GQA（Grouped Query Attention）[Ainslie et al. 2023]と呼ば

れる手法です。

GQAでは、クエリをグループ化し、同じグループに属するクエリに対して、同じキーとバ

リューを使用します。キーとバリューのパラメータを複数のクエリヘッドで共有することで、

計算量とメモリ使用量を削減できます。クエリに対してキーとバリューの数が少なくても推論

性能を維持できることが知られています。

線形層におけるバイアス項の削除

元のTransformer では、線形層にバイアス項が含まれていました。通常の線形変換は以下の

ように計算されます。

Y

=

XW

+

B

ここで、

X

は入力行列、

W

は重み行列、

B

はバイアス項です。

Llama 3では、バイアス項を削除し、線形変換を次のように計算します。

Y

=

XW

バイアス項を削除することでパラメータ数が減少し、計算効率が向上します。特に大規模な

モデルでは、バイアス項の影響が相対的に小さく性能への影響は限定的と考えられます。 ...