仕組みからわかる大規模言語モデル 生成AI時代のソフトウェア開発入門

1



るとパラメータの数も増えます。大規模言語モデルでいうところの大規模という所以の一つ

は、このパラメータの数が多いということです。

なお、機械学習分野では、しばしばパラメータをまとめてベクトルや行列として表現しま

す。例えば、

w

=

[w

0

, w

1

,

g

,

w

n

]のようなベクトルや、さらに複数のベクトルをまとめて行

列

W

として表現します。大規模言語モデルでは、このような多数の重みを表す行列が複数組

み合わさったものがモデルのパラメータを表現します。また、重みを表す行列の数が多く、

個々の行列のサイズも大きいことが、大規模言語モデルの特徴の一つです。後述の1.3.6 で

は、パラメータとサイズの実例を紹介します。



入力

x

f x

]

g

出力

y

図1.1.1



1.1.2

言語

言語は、なんらかの文法に則った単語や文の集合です。自然言語（英語、日本語など）とプ

ログラミング言語（Python、C 言語など）は、言語の代表的な例です。

大規模言語モデルは、自然言語とプログラミング言語の両方を扱うことができます。これ

は、モデルの学習に使用されるデータに、自然言語のテキストとプログラミング言語のコード

の両方が含まれているためです。モデルは、これらのデータから言語の統計的な特徴を抽出

し、言語の文法や意味論を抽象的に学習します。この抽象化のおかげで、モデルは学習データ

に含まれていない新しい言語的特徴も生成できるようになります。大規模言語モデルが扱う言

語は、学習に用いた様々な言語の和集合と考えることができるでしょう。 ...