LLMメッシュ (Japanese Edition)

第4章 代理型アプリケーションの性能測定 と監視

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

様々なLLMサービスのコストモデルを理解したところで、LLMの性能、そしてそれを基盤に構築されたエージェント型アプリケーションの性能をどのように測定できるかを見ていこう。覚えておいてほしいのは、これらすべての目的は、特定のアプリケーションの要件を定義し、その要件を実現する最も低コストな方法を発見することだということだ。

しかしまず、パフォーマンスとは何を指すのか？ 実際には、ここでは二つの全く異なる概念が存在する：

• 生成されるレスポンスの品質。つまり、生成されたレスポンスがアプリケーションの要件にどれだけ適合しているかだ。これは本章の主な焦点である。LLMレスポンスの品質測定は新たな分野であり、LLMメッシュがアプリケーション開発者に大きな価値を提供できる領域だからだ。

• サービスのスピード、つまりレスポンスが生成される速さ。この監視はAPIサービスのスピードやレスポンスを監視する既存のDevOps手法と類似しているため、本章の終わりで簡単に触れる。LLMメッシュはこれらのメトリックを捕捉するだけで十分である。

品質とスピードという二つの次元の中には、さらにいくつかのサブ次元も存在する。図4-1はこれらの次元とサブ次元をツリー図として示している。

図4-1. エージェント型アプリケーションの性能測定における次元 とサブ次元

続くセクションでは、これらの次元をさらに詳細に探っていく。まずは、パフォーマンス測定がLLMメッシュにどのように組み込まれるかを説明しよう。

LLMベンチマークはエージェント型アプリケーションの性能と同じか？

エージェント型アプリケーションの性能について議論する際、LLMベンチマークとは異なる点に留意する必要がある。LLMベンチマークとは、開発者がモデルを提出し、その固有性能を相互に比較するためのテストである。しかし、ベンチマークの領域は分断化されており、全開発者が採用する単一の標準セットは存在しない。 一般的なベンチマークには、Massive Multitask Language Understanding（MMLU）、Instruction-Following Eval（IFEval）、Graduate-Level Google-Proof Q&A（GPQA）などがあり、これらは通常、モデルに標準的なタスクリストを提出し、結果を比較するものである。

これらのベンチマークはモデル間の比較に有用であり、構築開始に適したモデルの選択に役立つ。しかし、特定のニーズに対するエージェント型アプリケーションの出力品質や、LLMサービスのレスポンスを測定するものではない。出力品質とサービスレスポンスを測るメトリックは、エージェント型アプリケーション群を管理する上で重要であり、本章ではこれに焦点を当てる。

LLMメッシュに基づく評価手法は、完全に分散型評価と完全に集中型監視という代替手法の限界を克服する。各手法には利点と欠点があるが、LLMメッシュ内で評価を実装することで多くの長期的な利点が得られる。表4-1にこれらの手法を比較する。

表4-1. ...