仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1



します。以降、これらの役割を説明した後、それぞれの仕組みについて詳細な説明を行いま

す。







N



n



|

V

|



N

x

N

=96

n

!{1, 2, 3, g, 2048}

|

V

|=50257











n

|

V

|

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

0 087

0 146

0 058

0 192

0 131

0 021

0 150

0 055

0 043

0 128

0 096

0 167

0 140

0 062

0 113

0 102

h h h

g

g

g

j

g

h

J

L

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

K

N

P

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O

O







, , , ,2 4 1 3

T

g

[ ]

n

n

 

g

図1.3.1



1.3.2

Transformer各部分の役割

Transformerは埋め込み層、デコーダスタック、出力線形層の三つのパートで構成されてい

ます。なお、デコーダスタックは

N

個の同じデコーダが積み重ねられた（スタックされた）構

造を持ちます。

埋め込み層の役割

埋め込み層は個々のトークンID をベクトルに変換します。トークンID をベクトルに変換す

る主な理由は、トークンID が単なるシンボリックな表現であり、その数値自体には意味がな

いためです。トークンID は、語彙の中での位置を指定するためのインデックスに過ぎません。 ...