高リスク分野のための機械学習 ―責任あるAI構築のための実践アプローチ

11章XGBoostのレッドチーム演習

5章では、機械学習モデルのセキュリティに関連するいくつかの概念を紹介した。本章では、それらを実践に移す。ここでは、モデルのデバッグのレパートリーにレッドチーム演習を追加できるよう、自分自身のモデルをハッキングする方法について説明する。本章の主な考え方は、ハッカーがモデルに対してどのような攻撃を試みるかを把握していれば、それを先回りして試し、効果的な防御策を講じることができるという点である。まず、一般的な機械学習に対する攻撃とその対策について再確認し、その後、構造化データで学習されたXGBoost分類器に対する攻撃の例を紹介する†1。次に、2つのXGBoostモデルを紹介する。1つは標準的な説明不可能なアプローチで学習されたモデル、もう1つは制約と高度なL2正則化を施して学習されたモデルである。この2つのモデルを用いて攻撃手法を説明し、透明性とL2正則化が防御策として有効かどうかを検証する。続いて、説明不可能な機械学習APIに対して外部の攻撃者が行う可能性の高い攻撃、すなわちモデル抽出と敵対的サンプル攻撃について解説する。さらに、機械学習モデリング・パイプラインに意図的な変更を加える内部攻撃、すなわちデータ汚染とバックドア攻撃についても試してみる。念のため付記すると、本章のコード例はオンライン（https://oreil.ly/machine-learning-high-risk-apps-code）で入手可能である。それでは始めよう。5章の内容を思い出し、「敵対的な思考」を忘れずに持参してほしい。

[†1] コンピュータ・ビジョンモデルに対する攻撃例はインターネット上に数多く存在するが、cleverhans（https://oreil.ly/4Xifu ...