안전한 인공지능 시스템을 위한 심층 신경망 강화

113

5

장

적대적 입력의 원리

장 두드러진 픽셀 )을 변경하는 데 중점을 두거나 많은 픽셀을 변경하면서도 전체적인 변화가

눈에 띄지 않을 정도로 미세하게 변경할 수 있습니다.

[그림

5

-

8

]은 위에서 설명한 개념을 단순화한 그림으로 표현합니다. 하지만 사용한 기술과 관

계없이 적대적 사례 생성의 기본 원칙을 보여줍니다. 적대적 사례를 생성하려면 일반적으로 비

적대적 사례를 입력 공간의 다른 부분으로 이동시켜 모델의 예측을 원하는 최대 효과로 변경해

야 합니다.

그림

5-8

표적 없는 공격 - 입력 공간의 ‘코트’ 분류 영역 밖으로 이동

5.4

적대적 패치: 산만의 최대화

적대적 패치를 생성하는 기본 원리는 섭동 공격에 사용한 원칙과 매우 유사합니다. 다시 한번

설명하자면, 목표는 초기 분류(표적 없는 공격)에서 멀어지거나 대상 분류 (표적 있는 공격 )인

표적을 향해 입력 공간을 통해 이동하는 방식으로 입력을 변경하는 것입니다. 적대적 패치는

전체 그림에서 일반적인 섭동을 구현하기보다는 이미지를 변경합니다. 변경된 영역 또는 ‘패치’

는 입력한 이미지의 입력 공간이 다른 부분 (이미지 )을 향하도록 최적화되어야 합니다.

티셔츠 / 상의

샌들

풀오버

운동화

바지

셔츠

입력 공간에서 ‘코트’

이미지의 위치

드레스

가방

코트

앵클 부츠

입력 공간에서 적대적

이미지의 위치