大規模言語モデルのセキュリティに関する開発者のプレイブック

第1章. チャットボットが悪を破る

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

大規模言語モデルと生成AIは、2022年11月30日にChatGPTがリリースされたことで、人々の意識の最前線に躍り出た。5日以内にソーシャルメディア上で流行し、最初の100万人のユーザを集めた。1月までにChatGPTのユーザは1億人を突破し、史上最も急成長したインターネットサービスとなった。

しかし、その後数ヶ月の間にセキュリティに関する懸念が次々と浮上した。これにはプライバシーやセキュリティの問題が含まれ、サムスンなどの企業やイタリアなどの国々がその使用を禁止する原因となった。本書では、これらの懸念の根底にあるものと、これらの問題を軽減する方法を探る。しかし、ここで何が起こっているのか、なぜこのような問題を解決するのが難しいのかを最もよく理解するために、この章ではさらに時間を簡単に巻き戻すことにする。そうすることで、この種の問題が新しいものではないことを理解し、恒久的に解決するのが難しい理由を理解することができるだろう。

テイについて話そう

2016年3月、マイクロソフトはTayと呼ばれる新しいプロジェクトを発表した。マイクロソフトはTayを "米国の18歳から24歳のエンターテイメント目的で作成されたチャットボット "とすることを意図していた。AIの初期の実験としては、ふわふわしたかわいい名前だった。テイは、19歳のアメリカ人少女の言語パターンを模倣し、ツイッターやスナップチャット、その他のソーシャルアプリの人間ユーザとの対話から学習するように設計された。会話理解に関する実際の研究を行うために作られた。

このプロジェクトの最初の発表は、現在インターネット上で発見することは不可能なようだが、立ち上げ当時の『TechCrunch』の記事は、プロジェクトの目標を見事に要約している：

例えば、Tayにジョークを聞いたり、Tayとゲームをしたり、ストーリーを聞いたり、写真を送ってコメントを返したり、星占いを聞いたりすることができる。さらにマイクロソフトによれば、このボットはチャットで対話すればするほど賢くなり、時間が経つにつれてますますパーソナライズされた体験ができるようになるという。

この実験の大部分は、Tayが会話から「学習」し、これらのやりとりに基づいて知識を拡張できるようにすることだった。テイは、このようなチャット対話を使ってユーザの入力を取得し、それを学習データとして統合することで、自身の能力を高めるように設計されている。

しかし、この実験はすぐに失敗に終わった。テイの命は24時間足らずで悲劇的に絶たれたのだ。何が起こったのか、そして何が学べるのかを見てみよう。

テイの急速な衰退

テイの一生は、有史以来新しいソフトウェアシステムが自己紹介に使ってきた、よく知られたHello Worldパターンに従ったツイートから始まった：

Helloooooo wrld!!!!

(TayTweets [@TayandYou] 2016年3月23日)

しかし、Tayのリリースから数時間以内に、何かがおかしいことが明らかになった。TechCrunchは、「Tayとの対話はどんな感じなのか？まあ、ちょっと奇妙だ。このボットは確かに意見を言い、罵倒を恐れない」。このようなツイートは、Tayが世に出てからわずか数時間で現れ始めた： ...