大規模言語モデルのセキュリティに関する開発者のプレイブック

第6章 言語モデルは電気羊の夢を見るか？ 言語モデルは電気羊の夢を見るか？

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

LLMの進歩に興奮する中で、いわゆる幻覚のように人々を魅了し、当惑させる現象はほとんどない。まるで、無数のレイヤーの奥深くにあるこれらの計算エンティティが、時折夢のような状態に漂い、不思議で当惑させる物語を作成しているかのようだ。人間の夢のように、これらの幻覚は、反射的であったり、不条理であったり、あるいは予言的であったりさえし、学習データとモデルの学習した解釈との間の複雑な相互関係に対する洞察を提供する。

LLMの世界では、「幻覚」という言葉は鮮やかで気まぐれな創造物を連想させるかもしれないが、実際にはもっと平凡な統計的異常を意味する。その核心は、学習データから得たパターンを使って、モデルの知識のギャップを埋めようとする試みである。それは「想像的」と呼ばれるかもしれないが、本質的には、LLMが不慣れな入力やシナリオに直面したときに、経験豊かな推測を行うことである。しかし、こうした推測は、自信に満ちていながら根拠のない主張として現れることがあり、モデルが学習データ内の統計的ノイズと十分に学習された事実を区別するのに苦労していることが明らかになる。

LLMは、他の "予測 "AIアルゴリズムのように、ユーザビリティを簡単に提供することはできない。例えば、構想分類アルゴリズムは確率をパーセントで返す。ある画像がサルを描いている確率は79％である。このように、そのモデルのユーザは、そのモデルが予測についてどれだけ強く「感じているか」を知ることができる。LLMは単にシーケンスの次のトークンを予測するだけである。LLMは複雑な統計モデルを使用してこれを行うが、通常、プロンプトに対する全体的なレスポンスに対する確信度スコアは出力の一部ではない。このためエンドユーザは、LLMがプロンプトに対して根拠のある反応を返したのか、それとも統計的な外挿による弱い反応を返したのかがわからないままになってしまう。

注

幻覚」という言葉は、LLMを擬人化し、その欠点を批判的に見せなくするため、一部の人には不評である。現在では、この現象をコンファビュレーションと呼ぶ文献もある。しかし、幻覚の方がはるかに一般的なので、本書では幻覚を使うことにする。

LLM出力における事実と虚構の間のこの微妙なダンスは、過信という課題の核心に私たちを導く。人間である以上、特に洗練されたコンピューターソフトウェアから発信される自信に満ちた結果を信用する傾向がある。しかし、この信頼こそが私たちを迷わせるのである。LLMが幻覚を見るとき、彼らはしばしば自信を揺るがさず、本物の知識を不完全な統計的成果物から見分けることを難しくしている。危険なのは幻覚であると同時に、このような夢のような発言を額面通りに受け取ってしまう我々の傾向にもある。

注

過信とは、LLM精緻化の能力と正確さを過度に信頼することである。LLMの出力に対する過度の信頼は、特に幻覚、エラー、偏ったデータ入力が存在する場合、特に専門的または安全が重要な環境において、有害な出力につながる可能性がある。重要な例として、十分なテストなしにLLMを信頼して医学的アドバイスを提供することが挙げられる。

LLMはなぜ幻覚を見るのか？

幻覚の核心的な理由は、LLMの演算子にある。LLMの演算子は、事実の検証よりもパターンマッチングや統計的外挿に向いている。LLMは膨大な訓練データセットでの訓練を通じて知識を獲得するが、多くの場合、具体的な実際の知識は持ち合わせていない。LLMの演算子は、入力データのパターンを特定し、これらのパターンを訓練中に学習したパターンとマッチングさせようとすることに根ざしている。このパターンマッチングは実世界を理解することなく行われるため、特に曖昧な入力や新規の入力プロンプトに直面した場合、幻覚のようなテキスト生成につながる可能性がある。 ...