仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1



各トークン

x

i

の調整された確率

P x x

i i1 1

|

-

] g

N

を次の式で計算します。

P x x

P x x

P x x

i i

j i

T

j

i i

T

V

1 1

1 1

1

1

1 1

1

=

|

|

|

-

-

=

-

]

]

]

g

g

g

N

!

ここで、

uV u

は語彙数です。言語モデルAPIの内部では、調整された確率分布

P x x

i i1 1| -

] g

N

に基づいて、ランダムに次のトークンをサンプリングします。

まず、

T

の値に1 を代入してみましょう。すると、上記の式は次のようになります。

P x x

P x x

P x x

i i

j i

j

i i

V

1 1

1 1

1

1 1

=

|

|

|

-

-

=

-

]

]

]

g

g

g

N

!

ここで、分母は確率分布

P(x

i

|x

1|i

−

1

)

の総和ですから1になります。したがって、

P x x

i i1 1

|

-

] g

N

は、次のように元の確率

P(x

i

|x

1|i

−

1

)

と等しくなります。

P x x x xP

i i i i1 1 1 1

=

| |- -

] ]g g

N

すなわち、

T

=1の場合、元の確率分布がそのまま使用されます。

計算例

次の確率分布を用いて、temperatureの計算を具体的な例で説明します。

⿟

りんご: 0.4

⿟

いちご: 0.3

⿟

バナナ: 0.2

⿟

みかん: 0.1

temperatureが 1 の場合、言語モデルはこの確率分布をそのまま使用して次のトークンを選

択します。

では、temperatureが 0.5 の場合はどうでしょうか。この場合、確率分布は次のようにス

ケーリングされます。

⿟

りんご:

0.4

(1/0.5) ...