実践 LLMアプリケーション開発 ―プロトタイプを脱却し、実用的な実装に迫るための包括的な手引き

2章事前学習（Pre-Training）データ

　1章では、言語モデルを紹介し、その長所と限界について述べました。さらに、現在および将来のユースケースを探り、この分野の進歩を支配しているスケーリング則についても説明しました。この先の章を読み解くために、次の3章では、LLMを事前学習するためのレシピと、LLMの構成要素について詳しく見ていきます。とはいえ、この本の目的は、事前学習済みのLLMを活用してアプリケーションを設計・構築することです。それにもかかわらず、なぜ巨大なモデルをゼロから事前学習する方法を理解する必要があるのでしょうか？

　この情報は実は非常に重要です。なぜなら、事前学習の過程で下される多くの選択が、下流タスクの性能に大きな影響を与えるためです。後の章でも述べるように、モデルの誤作動を理解するうえで、訓練過程の理解が重要になります。たとえば、私たちが食料品を選ぶとき、パッケージの成分表示を確認するように、LLMを本格的なアプリケーションで使用する前に、そのモデルが何からできているのか、どのような原材料を使っているのかを知っておくべきです。

	APIを通じてしかアクセスできないプロプライエタリなLLMに関しては、一般に公開されている情報が限られています。本書では、公開されている範囲内で可能な限りの情報を提供します。もちろん、情報が少ないからといって、これらのモデルの使用を避けるべきということにはなりませんが、モデルの透明性は、どのモデルを選択するか決定する際の重要な考慮事項となりうるでしょう。 ...