直感 LLM ―ハンズオンで動かして学ぶ大規模言語モデル入門

8章セマンティック検索とRAG

検索エンジンは、産業界で最初に広く使われた言語モデルの応用例の1つです。2018年に発表された有名な論文「BERT: Pre-training of deep bidirectional transformers for language understanding」（https://oreil.ly/5NRQi）から数か月後、Googleはこの技術を使ってGoogle検索を強化したと発表し、「検索史上最大の飛躍の1つ」（https://oreil.ly/Bbnrd）だと述べています†1。一方、MicrosoftのBingも「今年の4月から、大規模なTransformerモデルを用いて、過去1年間で最大の品質向上をBingのユーザーに提供した」（https://oreil.ly/Tpylo）と発表しています。

[†1] 訳注：リンク先では、BERTを使ってクエリの意図をより深く理解し、ユーザーにより的確な検索結果を提供できるようになった例が挙げられている。Bingの例も同様に、ユーザーの意図を理解し、検索結果を改善した例に触れている。

言語モデルの産業界での成功は、これらのモデルが持つ高い能力と実用性を示しています。言語モデルを活用することで、地球上の何十億もの人々が信頼している、成熟し、よく整備されたシステムを劇的に改善できます。たとえば、検索エンジンにおいて言語モデルを活用することで、単なるキーワードの一致を超えたセマンティック検索が可能になります。セマンティック検索は、キーワードの一致だけでなく、検索クエリの背後にある文脈や意図を理解して検索を行う技術です。

一方で、生成型の言語モデルの普及により、多くのユーザーがこれらのモデルに対して事実に基づいた回答を期待するようになりました。しかし、これらのモデルは言語的には流暢に回答できるものの、誤った情報や古い情報を回答することがあります。この問題は「幻覚（ハルシネーション）」として知られています。幻覚を軽減するために、関連情報を検索してLLMに与え、それをもとに回答を生成する方法が開発されました。この方法は ...