안전한 인공지능 시스템을 위한 심층 신경망 강화

32

1

부

인공지능을 속이는 기술

단순한 낙서처럼 보이므로 운전자에게는 그저 평범한 정지 표지판으로 인식됩니다.

이와 유사한 접근법을 사용해 적대적 오디오도 광범위하게 생성할 수 있습니다. 적대적 오디오

는 말이나 소리, 심지어는 침묵 속에 만들어져 은폐된 채, 음성 제어 시스템(예: 음성 제어 디

지털 어시스턴트)을 위협합니다.

10

1.5

‘적대적 머신러닝’의 광범위한 분야

이 책에서는 주로 이미지와 오디오 신경망 처리에 대한 적대적 사례를 다룹니다. 적대적 사례

는 더 잘 알려진 용어인 적대적 머신러닝 또는 적대적 머신러닝에 속하는 광범위한 공격의 일

종입니다. ‘적대적 머신러닝’은 머신러닝 알고리즘 (심층 신경망 및 기타 기존 머신러닝 알고리

즘)과 모든 유형의 데이터를 겨냥한 모든 잠재적 공격을 아우릅니다.

11

적대적 사례는 (정확하게 말해 ) 회피 공격이라고도 하는데, ‘회피 공격’은 머신러닝 알고리즘

의 탐지를 피하기 위해 입력을 수정하는 것입니다. 그러나 적대적 입력은 회피 이외의 목적으

로도 사용할 수 있습니다. 이 책에서 논의하는 공격의 대부분이 회피 공격이지만, 그렇지 않은

공격도 있습니다. 예를 들어, 시스템에 적대적 사례가 넘쳐서 많은 오탐

false

positive

이 생성되어

서비스 거부를 일으킬 수 있습니다.

적대적 머신러닝 분야 전반에서 ...