大規模言語モデル：難しい部分 (Japanese Edition)

はじめに

2024年、Code.orgでは初のGenAIカリキュラムの開発に着手した。我々の目標は野心的だった。単にK-12の生徒たちにChatGPT（あるいはChatGPTをラップしたインタフェース）を紹介するのではなく、生徒たちがより直接的に実験できる小型の言語モデルを開発したいと考えたのだ。

このアプローチにはいくつかの利点があると私たちは考えていた。第一に、小規模でオープンソースモデルであれば、ホスティング、価格設定、モデルバージョンについてより柔軟に管理できると考えた。また、小規模なモデルほど頻繁にハルシネーションを起こすと予想していた。奇妙な要件に聞こえるかもしれないが、頻繁なハルシネーションは教室でのユニークな指導の機会をもたらす。最後に、生徒たちが独自のトレーニングデータを使ってこれらのモデルをファインチューニングする方法を学べる世界を想像した。

しかし、小型言語モデルを使用するというこのアプローチには、課題も伴った。頻繁なハルシネーション発生に対応するため、生徒に対する安全基準を高く設定し、最先端モデルと同様の安全対策を作成する必要があった。また、カリキュラムで定めた学習目標から後退しないよう、小型モデルを正確に評価することも求めていた。 最後に、RAG（検索拡張生成）やマルチモダリティ入力など、より洗練度の高いシステムに見られる機能の多くを実装しつつ、中学生や高校生でも利用できるようにするフレームワークを構築したいと考えていた。

こうした取り組みの最中に、私はThársis Souza氏と知り合った。その後1年間にわたり、Thársis氏の助言と指導のもと、Code.orgチームはMistral 7Bをベースにした、生徒向けの小型モデルセットの開発と実装に成功した。リリース以来、これらのモデルは数万人の生徒に利用され、教室内で数十万件の対話が生み出されている。

時を遡り、今日に至るが、Thársisが我々の知見をさらに発展させ続け、共著者のJonathan Regensteinと共にこの貴重な本を執筆したことを嬉しく思う。

タイトルが示唆するように、本書は単にLLMを立ち上げて稼働させるだけにとどまらない、複雑な領域へのガイドとして捉えることをお勧めする。最初の数章では、LLMを用いた構築の基本原理、これらの非決定論的モデルを評価するための方法論、RAGを活用する実世界の戦略、そして予測可能で構造化された出力を生成する方法について学ぶことができる。

これらはすべて、Code.orgが学生向けにモデルのスケールアップを始めた際、極めて重要な領域であった。特に、自動化され、明確に定義された評価戦略を持つことは不可欠だった。それは、異なるモデルをアップグレードしたりテストしたりする際の信頼性を高めるだけでなく、プロダクトマネジメントチームがそれまで行っていた手動テストの多くを置き換えることを可能にした。

本書の後半は、自然と安全という重要な領域へと移行し、意図しないリスクと敵対的リスクの両方を網羅し、安全ポリシーへの準拠性を確認するためのモデルテストという難しい課題に取り組んでいる。我々が安全戦略を策定していた際、安全データセットを開発し、多くの異なるフィルターをテストし、カスタムジャッジ検証者を実装したが、これらはいずれも本書の各章で詳細に説明されている。

本書の締めくくりとして、ThársisとJonathanは、一貫したモデルボイスを維持するためのアラインメントの重要性について考察している。彼らは、耳にしたことはあっても意味が定かではなかったであろう多くの略語を明確に解説し、独自のファインチューニングモデルに実装できるアラインメントのテクニックやアプローチについても取り上げている。 ...