PyTorch によるコーダーのための AI および ML

第18章 RAG入門 RAG入門

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

初めてChatGPTのようなLLMとチャットをしたとき、LLMがあなたが予想もしなかったようなことについて非常に洞察力があったことを覚えているだろうか？私はChatGPTがリリースされる前にLLMと仕事をしたことがあり、LLMの能力を際立たせるようなプロジェクトに携わったことがあったが、それでもLLMの能力には驚いたものだ。CEOが冥王星と会話した、Googleの有名なオンステージ・デモンストレーションを覚えているだろうか？これは、AIの可能性における根本的な発想の転換のひとつであり、AIが進化し続ける中で、私たちはまだ探求を続けている。

しかし、そのような素晴らしさにもかかわらず、まだ限界があり、私や他の人たちがLLMと仕事をすればするほど、その限界にぶつかることが多くなった。第15章で説明したトランスフォーマーベースのアーキテクチャは、テキストデータを掠め取り、そこからQKVマッピングを作成し、その結果としてテキストのセマンティクスを人工的に理解する方法を学ぶという点で、素晴らしかった。しかし、これらのマッピングを構築するために使用されるテキストの量にもかかわらず、 、プライベートデータという盲点があった。特に、モデルがトレーニングされていないデータを扱いたい場合、幻覚を見る大きなリスクがある！

この盲点を軽減するスキルを身につけることは、ソフトウェア開発者として最も価値のあることかもしれない。

この章では、AIモデル、特にLLMのような大規模な生成モデルについて、これまでとは違った考え方をしてほしい。AIモデルを知的で知識豊富なものとして見るのをやめて、データをよりよく解析するためのユーティリティとして見るのだ。LLMが学習したすべてのことを、それ自体が知識ベースとしてではなく、広範囲によく読まれることによって言語の一般化された理解として考えるのだ。

私はこれを、AIを補完する技術として、人工的理解と呼んでいる。

そして、お気に入りのLLMを人工的な理解のためのエンジンとして扱えば、あなたの私的なテキスト（学習セットにはなかったもの）を理解させることができ、その理解を通して、あなたのテキストを新しく興味深い方法で処理することができる。

あるシナリオを使って、このことを探ってみよう。お気に入りのSF小説についてAIモデルと議論しているとしよう。あなたは文字、プロット、テーマなどについて質問したいが、モデルは具体的な内容に苦戦し、一般化されたレスポンスしか返さない。例えば、図18-1を見てほしい。これは、ChatGPTと『宇宙少年』という小説の文字についてチャットしたときの結果だ。

図18-1. 文字についてGPTとチャットする

これは非常に興味深いものだが、間違っている。まず第一に、登場人物は韓国ではなく 北朝鮮 出身である。

GPTは自信を持って間違っている。なぜか？この小説はトレーニングセットに含まれていないからだ！私が書いたのは2014年で、その後わずか数カ月で倒産した小さな出版社から出版された。そのため、比較的無名で、RAGを探求するのに最適な素材なのだ。この章が終わるころには、あなたはPyTorchのスキルを使って、この小説、そして問題のキャラクターをより賢く理解するアプリケーションを作成していることだろう。そう、小説の全文が使えるようになるのだ！ ...