仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

が生成されます。

1.5.3

t o p - p（ ト ッ プ p ）

top-pは top-pサンプリング（Nucleus Sampling）[Holtzman et al. 2020] で用いられるパラ

メータです。top-pサンプリングでは、確率の累積値が閾値top-p 以上になるまでのトークン

を選択します。

例えば、言語モデルが「私が好きな果物は……」という文章の続きを生成しており、次トー

クンの確率分布が次のようになっている場合を考えましょう。

⿟

りんご：

0.4

⿟

いちご：

0.3

⿟

バナナ：

0.2

⿟

みかん：

0.1

仮にtop-p が0.7 に設定されている場合、言語モデルは確率の累積値が0.7 以上になるまでの

トークンを選択肢とします。この例では、言語モデルAPI 内部では、まず「りんご」を選択肢

に加えます。この結果、累積確率は0.4となります。次に、「いちご」を選択肢に加えます。累

積確率は、0.4+0.3=0.7 です。この時点で、累積確率が0.7以上になったため、「りんご」と

「いちご」が次のトークンの選択肢となります。そして、「バナナ」と「みかん」は選ばれる可能

性がなくなります。

top-pを小さく設定すると確率の高いトークンのみが選択肢になるため、一貫性のあるテキ

ストが生成されます。逆に、top-pを大きく設定すると、より多様なトークンが選択肢になる

ため、創造性のあるテキストが生成されます。

例えば、top-pを 0.5 のように小さな値に設定してニュース記事を生成する場合、言語モデル ...