実践 LLMアプリケーション開発 ―プロトタイプを脱却し、実用的な実装に迫るための包括的な手引き

10章LLMから外部ツールを利用する

　第1部と第2部では、スタンドアローンのLLMが多種多様なタスクをどのように効果的に解くのかを見てきました。LLMの能力を最大限に引き出すためには、LLMを既存のデータやソフトウェアのエコシステムと統合することが不可欠です。従来のソフトウェアシステムとは異なり、LLMは自律的にアクションを起こして、他のコンポーネントと動的に相互作用（やり取り）することができます。この柔軟性により、従来は実現不可能と思われていた多くのユースケースが、今では現実のものとなりつつあります。

　LLMがソフトウェアや外部データと連携する必要があるもう一つの理由は、現在のLLMにはいくつかの本質的な制約があるためです。1章でも示しましたが、主要な点を以下に再掲します。

• LLMの再訓練や継続的なアップデートにはコストがかかるため、頻繁には更新できない。そのため、LLMの知識にはカットオフ（Cutoff）があり、それ以降の最近の出来事についての知識を持っていない。
• 改善は進んでいるものの、LLMは計算問題が苦手である。
• LLMは、生成する内容の事実性を保証したり、出典を正確に引用したりできない。
• 各々が持つ独自のデータを利用するのが困難である。ファインチューニングは簡単ではなく、コンテキスト内学習についても使用できるコンテキストウィンドウの長さに制約がある。

　これまで本書で示してきたように、統合効果によって、技術的な壁にぶつからない限りは将来的にはこれらの制限の多くがモデル自体によって解決されていくかもしれません。しかし、そうした未来をただ待つ必要はありません。現時点でも、タスクやサブタスクを外部ツールに任せることで、これらの制約に対処することが可能だからです。 ...