LLMOps ―本番環境における大規模言語モデル運用ガイド

1章大規模言語モデル入門

大規模言語モデル（LLM）が人気を集めているのは偶然ではありません。LLMは私たちのテクノロジーとの関わり方を変え、機械学習モデルが実現できることの限界を押し広げています。

これらのモデルは素晴らしいものですが、それを本番環境で運用および管理していくことは容易ではありません。研究プロジェクトからスタートしたものを、信頼性の高いツールへと進化させる道のりには、多くの障害があるでしょう。セルフホスティングするにせよ、プロプライエタリモデルを利用するにせよ、大きな計算要件を満たし複雑なデータを管理していくためには、すべてを円滑かつ安全に動くようにしなければなりません。

LLMの運用の細部へと進む前に、これらのモデルが生まれた理由と発展の経緯を把握しておくことにしましょう。起源と歩みを知ることで、本番で直面する課題を推測する際に、より正確に課題を捉えることができるようになります。

LLMは以前のモデルが抱えていた制約を1つずつ解消し、段階的に革新を積み重ねることで進歩してきました。初期のモデルは適用範囲が限られ、基本的なタスクでさえ多くの人手による入力を必要としていましたが、リカレントニューラルネットワーク（RNN）からトランスフォーマーへの移行やモデルサイズの拡大といったアーキテクチャの進歩によって、LLMはより高度になりました。この進歩に伴い、膨大なデータを扱うことや学習プロセスを効率的に保つことなど、新たな課題も生まれています。

それでは、本題に入っていきましょう。

1.1　主要な用語

ここから先へ進む前に押さえておきたい用語が3つあります。

ベースモデル

高度な機械学習アーキテクチャであり、特化したモデルを作るための土台となる。膨大なデータセットで事前学習済みであり、トレーニングデータから統計的な関係や言語構造を抽出する。従来はテキストが中心だったが、最近ではコード、画像、音声、動画なども取り込んでおり、一般的な言語理解とパターン認識の能力も身につけている。ベースモデルを元にして、特定のタスクや用途に合わせてファインチューニングを行うことで、より目的に適したモデルを作ることができる。 ...