仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1.1.3

言語モデル

言語モデルは、言語とモデルを組み合わせた概念です。言語で書かれたテキストデータを入

力として受け取り、なんらかの予測を出力します。言語モデルが何をするかはタスクと呼ば

れ、そのタスクに応じて入力と出力が異なります。

表1.1.1 に、自然言語処理のタスクとその入力、出力を示します。例えば、自己回帰言語モ

デリングは、テキストの一部を入力として受け取り、入力に続く可能性が高いトークンを出力

します。トークンは、言語モデルが扱いやすいサイズにテキストを分割した単位です。単語や

単語をさらに細かく分割したサブワードがトークンとしてよく使われます。また、文章生成

は、プロンプト（ここでは文章の先頭部分や要約など）を入力として受け取り、プロンプトに

続く自然な文章を出力します。

表1.1.1 で特に重要なタスクは、自己回帰言語モデリングです。自己回帰言語モデリングは

言語モデルの基本的なタスクであり、このタスク向けに訓練されたモデルを自己回帰言語モデ

ルと呼びます。自己回帰言語モデルは、入力されたテキストの一部（先行する単語やトーク

ン）を受け取り、入力に続く可能性が高いトークンを出力します。自身の出力を次の入力とし

て再帰的に利用することで、より長い文章やテキストを生成することができます。

図1.1.2 では、自己回帰言語モデルの動作例を示します。ここでは例として、「今日の天気

は」というテキストを入力として受け取り、「晴れです。」というテキストを出力することを想

定しています。この出力は、複数回の言語モデルの呼び出しによって生成されます ...