大規模言語モデルのセキュリティに関する開発者のプレイブック

第2章. LLMアプリケーションのためのOWASPトップ10

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

2023年の春、私はLLMに特有のセキュリティの脆弱性について研究を始めた。当時、AI全般のセキュリティに関する研究は比較的多かったが、LLMに関する組織的な研究はほとんどなかった。しかし、いくつかの研究論文やブログは発見した。私はこれらの研究論文を集め、ChatGPTを使って要約する作業を始めた。最終的に、私はウェブアプリケーションの脆弱性の現在のトップ10リストからいくつかの例を提供し、ChatGPTに同様の形式でLLMのトップ10の草案を生成するよう依頼した。

そこで、OWASP（Open Worldwide Application Security Project）の創設者であるジェフ・ウィリアムズ（Jeff Williams）氏にこのリストを送ってみた。Contrast Securityの最高技術責任者であるジェフは、2001年に最初のOWASPトップ10リストを書いた。彼の目標は、ウェブ・アプリケーションの最も重大なリスクと脆弱な領域を詳述した、開発者向けのアクセス可能なリソースを作成することだった。当時、ワールド・ワイド・ウェブはまだ始まって数年しか経っておらず、ほとんどの開発者は安全なウェブ・アプリケーションの作成方法をほとんど理解していなかった。このオリジナルのトップ10リストは、アプリケーションセキュリティの基礎となるリソースとなった。

ジェフには、私のリストが主にマシンで作成されたものであることは伝えていない。オリジナルのトップ10リストの作者である彼なら、私のトップ10リストが斬新で、追求する価値がありそうかどうかのヒントを与えてくれると思ったからだ。ジェフは私に、OWASPの理事会にこのリストを新しいプロジェクトとして立ち上げる承認を嘆願するよう勧めた。数週間後、OWASP理事会はこのプロジェクトを承認し、私はChatGPTで作成したトップ10の草案の改良版へのリンクとともに、このプロジェクトを発表した。

漠然とした研究プロジェクトとちょっとした楽しみだと思っていたことが、もっと大きなものになった。LinkedInの個人ページでプロジェクトの形式を発表したとき、LLMのセキュリティという曖昧なトピックに興味を持つ、志を同じくする十数人の発見を期待していた。結果的に、私の初期化ブログ投稿はほぼ1万ビューを記録し、その後数週間で数百人が専門家チームに参加したいと志願した。

本書はOWASPの製品ではないし、ここに書かれている脆弱性やリスクは、公開されているLLMアプリのトップ10リストには正確にマッピングされていない。その代わり、これらのリスクに関する私の見解を見ていただきたい。しかし、このトピックに関する私の学習と思考は、プロジェクトを率いる私の仕事と、OWASP Top 10 for LLM Applicationsリストの作成と初期リリースに大きく影響されている。それ以来、プロジェクトをどのように運営し、短期間でこれほどインパクトのあるフレームワークをどのように作成できたのか、多くの人から詳細を聞かれるようになった。そこで、個々のリスクと脆弱性を検証する前に、OWASPとLLMアプリケーション・プロジェクトの裏話を少し紹介しよう。

OWASPについて

オープン・ワールドワイド・アプリケーション・セキュリティ・プロジェクト（Open ...