LLMメッシュ (Japanese Edition)

第3章 エンタープライズにおけるLLMsのコストの定量化 と最適化

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

第2章の冒頭で、組織が独自のエージェント型アプリケーションを開発する能力の重要性を確認した。目的別に構築されたこれらのアプリケーションは、組織が競合他社との差別化を図り、市場で優位に立つことを可能にする。とはいえ、それらを開発・運用するにはコストがかかる。

第2章では、LLMメッシュがこうしたアプリケーションの開発を簡素化・標準化し、開発コストを削減する方法を示した。しかし、エージェント型アプリケーションは稼働中にもコストを発生させる。必要な性能レベルを維持しつつコストを最小化することで、組織の予算をより有効に活用できる。これにより、目的特化型エージェントアプリケーションを組織内のより多くの関数にデプロイでき、AIへの同一投資からより大きなリターンを得られるようになる。

コストを単独で考えるのは危険だ。むしろ性能（ここではアプリケーションの出力の品質、スピード、信頼性と定義し、第4章で詳述する）と併せて考慮すべきである。組織が盲目的にAI支出を削減した場合（例えば小型モデルや安価なサービスの使用など）、エージェント型アプリケーションが十分な性能を発揮しなくなる可能性がある。

一方で、常に最高性能のモデルを使用するという方針を取れば、実際には必要のない性能レベルに対して過剰な支出をすることになるだろう。答えは、適切な性能レベルでコストを最小化するバランスを見出すことにある。 スピードと出力品質の両面における必要な性能レベルは、各アプリケーションの具体的な要件によって異なる。したがって目標は、最小コストでも最大性能でもない。必要な性能を提供しつつ最小限のコストを実現することだ。

LLMメッシュの重要な機能は、エージェント型アプリケーション構築に用いられる多様な構成要素全体でコストと性能を測定・トラッキングするための連合サービスを提供することだ。LLMメッシュ内でこれらの連合サービスを利用することで、組織はAI予算の使途を完全に把握し、投資対効果を最大化する方針を徹底できる。

コストとパフォーマンスの話題については、本章と第4章の両方で扱う。本章ではまず、LLMメッシュ内の様々なオブジェクト、特に異なる種類のLLMサービスのコスト要因を理解する。次に、コストを制限するテクニックを検討する。 最後に、LLMメッシュを用いたコスト効率的なAI実践を運用するために必要な組織的慣行、すなわちコスト報告、予算編成、再請求などのトピックを検討する。全編を通じて、コスト削減の意思決定時には性能のトレードオフを考慮する必要性に参照する。性能測定と監視については第4章でより精密に扱うので安心されたい。

エージェント型アプリケーションのコストの定量化

本節では、エージェント型アプリケーションがどのようにコストを生成するかを理解する。 まずLLMメッシュのオブジェクトを簡単に振り返り、コストを生むオブジェクトと生まないオブジェクトを特定する。その後、モデル開発者、CSP、自己管理型など、各種LLMサービスのコストを詳細に分析する。最後に、異なるLLMサービス選択がコストに与える影響を、二つのエージェント型アプリケーションで比較検証する。

LLMメッシュにおけるコスト要因となるオブジェクト

まずLLMメッシュ内の各オブジェクトのコスト構造を分解しよう。第2章で説明したLLMメッシュの主要7オブジェクト（LLMs、LLMサービス、検索サービス、プロンプト、エージェント、ツール、アプリケーション）を思い出してほしい。これら7つのオブジェクトのうち、コストを発生させるものとそうでないものがある。 ...