大規模言語モデル：難しい部分 (Japanese Edition)

第2章： 評価のギャップ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

理論がどれほど優れていても、 あなたがどれほど賢かろうと関係ない。 実験結果と一致しなければ、それは間違っている。

リチャード・ファインマン

LLMsの登場とそれに続くLLMBAの急速な普及は、ソフトウェア開発、テスト、および検証の分野において決定的な転換点となった。 決定論的な出力が標準である従来のソフトウェアシステムとは異なり、LLMsとLLMBAは、非決定論的かつ生成的な振る舞いという新たな領域をもたらし、評価に関する従来のソフトウェアエンジニアリングのパラダイムに課題を突きつけている。 

この変化は単なる技術的進化にとどまらず、ビジネスアプリケーションの構想、構築、評価の方法における根本的な変換である。そのため、LLMsやLLMBAの確率的性質を考慮していない従来のテストフレームワークに固執し続けることは、必然的に重大なリスクを招くことになる。

本章では、従来のソフトウェアテスト手法と、LLMsおよびLLMBAの固有の要件との間の「評価のギャップ」を埋めるためのテクニックを探求し、以下の順序で進める。

まず、LLMsの非決定論的性質、それがLLMBAにどのように影響するか、そしてそれをどのように観察できるかについて論じる。 そこから、LLMBA用の独自の評価フレームワークを構築する方法について掘り下げる。まず、フレームワークを慎重に設計することから始め、その後、2つの選択肢へと進む。1つ目の選択肢は、LLMBAを評価するために客観的なメトリックを使用することであり、2つ目の選択肢は、別のLLMを使用してLLMBAの品質を判断することである。これら2つの選択肢を構築するためのコードを順を追って解説し、それぞれのベストプラクティス、強み、短所について議論する。

最後に、LLMsの単独性能を評価するために用いられるベンチマークについて見ていく。これらのベンチマークはLLMs開発者にとって重要であり、新しいモデルや自らがファインチューニングしたモデルの能力を理解する助けとなる。

LLMsの非決定性

同じ入力が確実に 同じ出力を生成する従来のソフトウェアシステムとは異なり、LLMsはトレーニングデータに存在しない新しいテキストを生成したり、プロンプトや入力データが同一であっても、クエリごとに異なるレスポンスを生成したりする可能性がある。この振る舞いは、（創造性や一般化能力を重視する場合）強みであると同時に、重大な課題でもある。

LLMsのこの非決定論的な性質は、次のようなことを意味する。

• 同じ入力データでも、異なる分析結果が導き出される可能性がある。

• コンプライアンス遵守が困難になる。

• 非一貫性のあるレスポンスにより、信頼性と効率性が低下する可能性がある。

• 従来のソフトウェアと比較して、テストの複雑さがより高くなる。

ある金融サービス企業が、10-K（上場企業が証券取引委員会［SEC］に提出する書類）のエグゼクティブ・サマリーを生成するLLMBAを構築していると仮定しよう。 この研究には、提出書類に基づく事実に基づいた内容（虚偽を含んではならない）が求められる一方で、企業が報告した情報に関する洞察に富んだ意見も一定レベルで必要となる。 なぜなら、洞察がなければ、クライアントが対価を支払う理由がないからだ。 そのシナリオ（本章で詳しく検討する）において、我々はLLMBAが信頼性・正確性を備え、コンプライアンスを遵守しつつ、かつ洞察に富み、差別化され、価値のあるものであることを求める。そして、おそらく我々の最終目標は、単一の10-K提出書類だけでなく、上場企業全体にわたる数千件の提出書類について調査報告を作成することにある。規模が拡大するにつれ、非決定的な結果がわずかであっても問題となり得る。 ...