大規模言語モデルのセキュリティに関する開発者のプレイブック

第10章. 未来の歴史から学ぶ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

SFの関数とは、常に未来を予測することではなく、時には未来を防ぐことである。

フランク・ハーバート（『デューン』著者

AIは新しい分野ではないが、最近では、今日のイノベーションがしばしば昨日のSFと衝突する点まで進歩している。本書のこれまでの章では、LLMに関連するセキュリティの脆弱性やインシデントについて、多くの実際の事例を検証してきた。しかし、あまりに急速に変化する分野で仕事をしているとき、どのようにしてゲームの先を行くことができるのだろうか？一つの方法は、まだ起きていないシナリオから学べることを確認することだ。そして願わくば、私たちが仕事をすれば、このようなシナリオは起こらないかもしれない。

この章では、LLMのようなAIが悪役やヒーローにセキュリティ上の欠陥を悪用された2つの有名な話（どちらも大ヒットSF映画で語られている）を評価する。ストーリーはフィクションであるが、脆弱性のタイプは非常に現実的である。ストーリーを要約し、セキュリティ危機に至った出来事を振り返る。LLMアプリケーションのためのOWASPトップ10というレンズを通して、この話をする。

LLMアプリのOWASPトップ10を見直す

第 2 章では、LLM アプリケーションのための OWASP トップ 10 の作成について説明したが、リストの詳細については触れなかった。この章では、LLM のための OWASP トップ 10 が提示する分類法を使って、2 つの SF の例を分析する。これらの例に入る前に、OWASP のリストを簡単に復習し、表 10-1 に要約されているように、本書で議論されているトピックと結び付けてみよう。

表 10-1. OWASP LLMセキュリティ脆弱性トップ10の概要

OWASPの脆弱性	説明	各章には以下の内容が含まれる。
LLM01: プロンプト注入	攻撃者は、LLMを操作して意図しないアクションを実行させるために入力を細工し、データの流出や誤解を招く出力を引き起こす。	第1章と第4章
LLM02: 安全でない出力処理	他のシステムに渡す前のLLM出力の不十分な検証は、XSSやSQLインジェクションのようなセキュリティ問題につながる。	第7章
LLM03: トレーニング・データ・ポイズニング	学習データを悪意を持って操作し、LLMに脆弱性やバイアスを導入する。	第1章と第8章
LLM04: サービス拒否モデル	複雑なリクエストでLLMシステムにオーバーロードをかけると、パフォーマンスが低下したり、応答しなくなったりする。	第8章
LLM05: サプライチェーンの脆弱性	LLMのサプライチェーンのどの点においても、脆弱性はセキュリティ侵害や偏った出力につながる可能性がある。	第9章
LLM06: 機密情報の開示	LLM研修セットに機密情報や専有情報が含まれることで、潜在的な情報漏洩につながるリスク。	第5章
LLM07: 安全でないプラグイン設計	プラグインの脆弱性は、LLMの振る舞いの操作や機密データへのアクセスにつながる可能性がある。	第9章
LLM08: 過剰なエージェンシー	LLMに過剰な能力や自律性を持たせると、LLMの曖昧なレスポンスから損害を与えるような行動が可能になる。	第7章
LLM09: 過度の信頼	誤った、あるいは誤解を招くような出力を信用することは、セキュリティ侵害や誤った情報をもたらす可能性がある。 ...