セキュリティエンジニアのための機械学習 ―AI技術によるサイバーセキュリティ対策入門

9章深層強化学習によるマルウェア検知器の回避

黒米 祐馬

本章は日本語版オリジナルの記事である。本章は原著の「Chapter 9: Bypass Machine Learning Malware Detectors（機械学習を用いるマルウェア検知器の回避）」の主旨はそのままに増補・改訂を施したものであり、機械学習を用いるマルウェア分類器を機械学習をもって回避する方法を詳述する。前章の「8章　機械学習システムへの攻撃」をより現実的な事例に敷衍した内容を扱うため、本章を読み進める前に前章を読了されることを推奨する。本章では次のトピックを扱う。

• 実世界のアンチウイルス製品に存在した問題
• 機械学習を用いるマルウェア検知器MalConv
• PEファイルフォーマットの基礎知識
• pefileを用いたPEファイルの改変
• マルウェア検知を機械学習によって回避するには
• 深層強化学習の基礎知識
• OpenAI GymとKeras-RLを用いたMalConvの回避

9.1　実世界のアンチウイルス製品に存在した問題

本書の3章や4章でも扱ってきたように、マルウェアの検知や分類への機械学習の応用は一般的になりつつある。アンチウイルス業界に目を向けてみると、機械学習を用いている製品は枚挙にいとまがない。大手から新興ベンダーの誰もが機械学習を活用して最新の脅威に対処しようとしており、いくつもの成功事例が生まれている†1。しかし、前章で示したように、機械学習システムもコンピュータシステムである以上、攻撃の対象となりうるという側面を持つ。

[†1] 機械学習が特に功を奏した例として、Microsoftが悪名高いマルウェアEmotetの感染拡大を早期発見した事例（https://www.microsoft.com/security/blog/2018/02/14/how-artificial-intelligence-stopped-an-emotet-outbreak/ ...