大規模言語モデル：難しい部分 (Japanese Edition)

第1章 基本 原則： LLMsを用いた開発を始める前に考慮すべきこと

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

自由とは、使わなければ死んでしまうものだ。

ハンター・S・トンプソン

大規模言語モデル（LLM）は、ソフトウェアの能力とアプリケーションの構築方法において、真の転換点となっている。 LLMは、コンテキストを理解し、文書全体にわたるパターンを認識し、首尾一貫した説明を生成し、脆弱なルールセットや網羅的なトレーニングデータなしに、微妙なニュアンスを含む要求にも適応できる。その能力は驚くべきものであり、オープンソースツールによって、あらゆる規模の組織や予算の限られた個人でもこの技術を利用できるようになった。 本書の目的は、読者がこの技術を成功裏に実装し、道を誤らせるようなよくある落とし穴を回避できるよう、オープンソースのフレームワークを提供することだ。

続く章では、この世界を切り拓く手助けとなるよう、解説、実践的な例、再現可能なコードフローを順を追って紹介する。我々はLLMsそのものだけでなく、我々が「LLMベースのアプリケーション（LLMBA）」と呼ぶものの構築に重点を置く。LLMsの難しさは、実世界の問題を解決する際に現れると我々は考えている。

しかし、実際に構築に取り掛かる前に、コードの記述やフレームワークの設計を始める前に考慮すべき基本原則について、数ページを割いて解説しよう。

本書ではバリエーションの多いツールを使用する。呼び出すLLMsの多くはプロプライエタリであり、API経由でアクセスする。純粋にローカルなツールの使用に加え、こうしたAPIの呼び出しにも精通しておくことは有益だと考えている。本書では後者についても扱う。ただし、LLMの難題に対する解決策については、オープンソースに焦点を当てる。

なぜオープンソースなのか？

我々がのLLMにおける一般的な落とし穴に対するオープンソース解決策に焦点を当てるのは、第一に、この本のコードをノートPCとインターネット接続さえあれば誰でも再現できるようにしたいからだ。 第二に、オープンソースツールを使って構築し、それらのツールでリスクに対処する方法を学ぶことは、我々を強固な基盤で支えてくれると信じている。それは、より強力なエンタープライズツールが利用可能であっても、ゼロから物事を構築することを強いる。 もし将来、そうしたエンタープライズツールを使用するポジションになったとしても、オープンソースの実装を理解していれば、その内部で何が起きているのか把握できるだろう。最後に、最終章で論じるように、我々はオープンソースモデルとプロプライエタリモデルの双方の将来について非常に楽観的であり、それぞれが異なる分野で繁栄するエコシステムの中で共存する世界を想定している。

オープンソースは、実験や試行錯誤を行い、LLMsを運用する上での課題を理解できる、身近でアクセシビリティの高い環境を提供してくれる。これにより、職人として、情報に基づいた意思決定を行い、効果的にトラブルシューティングを行い、可能性の境界を押し広げることができるのだ。

オープンソースを運用することで、例えば70億パラメータモデルと700億パラメータモデルの違いを実感し、スピードと品質のトレードオフを理解し、さまざまな評価ライブラリがフレームワーク構築にどのように役立つかを直接体験することもできる。 APIコストの積み上がりやレート制限による探索の中断を心配することなく、自由に実験できる。この実践的な実験を通じて培われる直感は、後にエンタープライズ環境でアーキテクチャの決定を行う際に極めて貴重だ。なぜなら、文書化されていることだけでなく、実際に試してみたからこそ何が機能するかを理解しているからだ。 ...