生成AIデザインパターン ―AIエージェント構築、アプリケーション開発のベストプラクティス

6章信頼性の向上

基盤モデルは本質的に確率的である。つまり、乱数的もしくは確率的な挙動を示す。したがって、これらのモデルを用いて構築された生成AIアプリケーションは、一貫性のない出力、不正確な事実、ハルシネーションに悩まされる可能性がある。本章では、これらの課題を緩和するための4つのパターンを紹介する。

審判としてのLLM［パターン17］は、出力をLLMを用いて体系的に評価して品質を判定する。直接プロンプトで評価する場合と、MLもしくはファインチューニングされたモデルを用いて評価する場合がある。リフレクション［パターン18］は、モデルが自身の出力を批評し、生成されたコンテンツを反復的に改良する。依存性注入［パターン19］は、コンポーネントのモック化を可能にすることで、テスト容易性と頑健性を促進する。最後に、プロンプト最適化［パターン20］は、入力プロンプトを改良するための構造化された手法を提供する。これによって、多様な入力分布に対して出力の信頼性を最大化する。

これらのパターンを組み合わせることで、生成AIアプリケーションの信頼性を高めるフレームワークを構成する。評価、自己修正、不確実性の定量化、モジュラー設計、および入力の最適化の機構を統合し、信頼性の高いシステムを構築し、AIアプリケーションが生成した出力に対するユーザの信頼を高める。

6.1　パターン17：審判としてのLLM

審判としてのLLMパターンは、詳細で多次元的なフィードバックを得るための手法だ。このフィードバックを用いて、モデルを比較し、改善を確認し、さらなる開発の方針を定めることができる。審判としてのLLMは完全に自動化された評価基準による評価と、人間による評価との間にあり、有望である。生成AIシステムに対してスケーラブルでありながら細やかな評価を行うことができる。 ...