LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発

10章LLMアプリケーションの評価

GitHub Copilotは、間違いなくLLMを使った最初の産業規模のアプリケーションです。先手を打つことの呪いは、（今では）誰もが知っていることを笑えるほどに無視してしまい、後から考えると、自分が下した選択の一部が愚かに見えてしまうことです。

しかし、私たちが絶対に正しかったことの1つは、どのように始めたかでした。GitHub Copilotのコードベースの最も古い部分は、プロキシやプロンプト、UI、アプリケーションをIDE拡張機能として設定するボイラープレートではありません。私たちが最初に書いたコードは「評価」であり、そのおかげで、他のコードとともに非常に速く、成功裏に進むことができました。なぜなら、私たちが行ったすべての変更について、その変更が、正しい方向への一歩、間違い、あるいは、あまり影響を与えなかったよい試みだったのかを、直接確認できたからです。そして、これが、あなたのLLMアプリケーションの評価フレームワークの主な利点です。それが、将来のすべての開発を導きます。

アプリケーションや、アプリケーションのライフサイクルにおけるプロジェクトの位置付けによって、さまざまな種類の評価が、利用可能で適切な場合があります。ここでの2つの大きなカテゴリは、オフライン評価、オンライン評価です。「オフライン評価」は、アプリケーションのライブ実行に依存しない、サンプルケースの評価です。実際のユーザーや、多くの場合、エンドツーエンドで機能するアプリケーションを必要としないため、これは通常、プロジェクトのライフサイクルで最初に実装する評価になります。

ただし、オフライン評価はやや理論的であり、実世界から少し離れている可能性があります。しかし、アプリケーションを実世界にデプロイすると、「オンライン評価」が可能になり、ユーザーに対して直接、あなたのアイデアをテストします。ライブであることは、オフライン評価と比較して、オンライン評価への希望を膨らませます。あなたのアイデアが、完全にユーザー体験を台無しにするほどひどくないことを、確認した方がいいでしょう。また、そもそも十分に明確なフィードバックを得るためには、十分なユーザーが必要です。しかし、これらのハードルを乗り越えれば、収集したデータは、オフライン評価では確信が持てないような方法で、あなたのユースケースにとって非常に有効になります。 ...