機械学習とセキュリティ

第8章 逆説的機械学習 敵対的機械学習

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

機械学習がクリティカルなシステムでユビキタスにデプロイされ始めると、その信頼性は当然精査されるようになる。警戒心を抱かないことが重要だが、敵対的エージェントがマシン学習システムにもたらす脅威は現実のものとなっている。ハッカーがファイアウォールの脆弱性を利用してウェブサーバにアクセスするのと同じように、機械学習システム自体も攻撃者の目的を達成するために狙われる可能性がある。従って、このようなソリューションを戦線に投入する前に、その弱点を考慮し、ストレス下でどの程度可鍛性があるかを理解することが極めて重要である。

敵対的機械学習とは、敵対的環境におけるマシン学習の脆弱性に関する研究である。セキュリティと機械学習の研究者は、機械学習アンチウイルスエンジンに対する実用的な攻撃に関する研究を発表している、¹スパムフィルター、²ネットワーク侵入検知器、画像分類器、感情分析器、スパムフィルタに対する実用的な攻撃に関する研究を発表している、³センチメントアナライザーなどである、^4,5などがある。このような攻撃が実際に観測されることはほとんどないにもかかわらず、この分野の研究は近年ますます活発化している。情報セキュリティ、国家主権、人命が危機に瀕しているとき、機械学習システム設計者は、攻撃を先取りし、これらのシステムに安全装置を組み込む責任がある。

マシン学習システムにおける脆弱性は、システム設計の欠陥、アルゴリズムの基本的な限界、あるいはその両方の組み合わせから生じる可能性がある。本章では、マシン学習アルゴリズムの脆弱性と、それに対する攻撃を検証する。そして、得られた知識を用いて、攻撃に対してよりレジリエンスなシステム設計の動機付けを行う。

用語解説

敵対的機械学習の初期の研究では、機械学習システムに対する攻撃を3つの次元の特性に基づいて定性的に分析するための分類法が定義されていた：⁶

影響力

原因攻撃とは、訓練データや訓練段階のパラメータを改ざんすることで、敵対行為者が訓練プロセスに影響を与えようとする試みを指す。敵対者がオフラインで作成されたトレーニングセットを操作することは困難であるため、この種の攻撃は主にオンライン学習者に関連する。オンライン学習者は、ユーザ対話または予測に対するフィードバックを直接利用して学習済みモデルを更新することで、変化するデータ分布に自動的に適応する。適応性のために定常性を犠牲にすることで、このような学習システムは、観測されたばかりのデータで統計モデルをインクリメント学習することで、継続的に進化する。オンライン学習の典型的な使用例としては、ユーザの修正と強化から学習する画像分類サービスや、頻繁にバイラル・トラフィック・スパイクを経験するWebサイトでの悪意あるトラフィック検出などがある。

探索的攻撃は、純粋にマシン学習システムとの学習後の相互作用に基づいている。この攻撃モードでは、行為者は訓練されたデータマニホールドに対して影響力を持たないが、その代わりに敵対的なスペースを発見して利用し、モデルに設計されていないミスを犯させる。探索的攻撃の素朴な例としては、機械学習分類器の入力空間を総当たりでファジングし、誤って分類されたサンプルを発見することである。

特異性

標的型攻撃とは、モデルの予測を意図的にシフトさせ、別の焦点を絞った結果へと導く試みを指す。例えば、マルウェアファミリー分類器に対する標的型攻撃は、マルウェアファミリーAに属するサンプルをマルウェアファミリーBとして確実に誤分類させる可能性がある。 ...