안전한 인공지능 시스템을 위한 심층 신경망 강화

131

6

장

적대적 섭동을 생성하는 방법

지에서 알고리즘은 이미지가 원본에서 멀어질 때와 거의 동일하게 그레이디언트가 유지되므로

적대적 위치로 (셔츠 분류 영역 밖으로 ) 성공적으로 이동합니다. 반대로, 오른쪽의 그레이디언

트와 함께

FGSM

을 사용하면 원본 이미지 위치 근처의 그레이디언트를 더이상 나타내지 않기

때문에 이미지를 원하는 적대적 위치로 이동시킬 수 없습니다. 그 결과 적대적 위치가 여전히

‘셔츠’ 분류 영역 내에 있습니다.

그림

6-5

모델 선형성과 비선형성을 가정한 빠른 그레이디언트 부호 방법

FGSM

의 성공은 특정 방향의 그레이디언트가 계속 유지될 것이라는 가정을 전제로 합니다. 수

학 용어를 사용하면, 모델이 나타내는 함수는 선형 동작을 나타냅니다. 선형 모델을 사용하면

단순히 로컬 그레이디언트를 보면서 적대적 섭동을 일으키는 수식을 간략히 근사화할 수 있습

니다.

FGSM

은 최상의 적대적 입력을 생성하지는 않지만 이 알고리즘의 목적은 아닙니다.

FGSM

접

근법이 최첨단 이미지 분류

DNN

에 걸쳐 작동함을 보여줌으로써 연구자들은 선형성의 기본

특징이 많은 알고리즘에 내재되었음을 증명했습니다.

DNN

모델은 [그림

6

-

5

]의 오른쪽에 표

시된 것처럼 일관되지 않은 그레이디언트가 아니라 왼쪽 그림과 같이 입력 공간의 예측 지도에

셔츠 예측 지도: ...