안전한 인공지능 시스템을 위한 심층 신경망 강화

114

2

부

적대적 입력 생성하기

‘코알라’로 잘못 분류한 경우를 예로 들어봅시다. 여기에 사용한 패치는 분류할 때 중요시하는

모든 특성을 캡슐화하는 과정에서 완벽히 ‘코알라’로 인식하게 하여 ‘코알라’로 분류하게 만듭니

다. 패치는 코알라의 두드러진 특성을 모두 포함해야 하므로 (

DNN

에는 ) 실제 세계에서 볼 수

있는 그 어떤 것보다도 더 코알라처럼 보일 것입니다. 이것은 패치되지 않은 이미지 (원본 이미

지)의 특성이 간과되도록 입력 공간의 영역 내에서 위치를 유연하게 변경시킵니다(그림

1

-

5

참조 ).

적대적 사례는 패치의 크기, 이미지의 위치, 사람이 사물을 인식하는 방식을 고려해 최적화할

수 있습니다. 이미지에서 패치를 이동시키거나 크기를 조정하면 입력 공간 내에서 결과 이미지

의 위치나 분류에 영향을 줄 수 있습니다.

5

NOTE

_

초정상 자극

실제 세계에서 사물의 과장되고 부자연스러운 것과 같은 산만함이란 개념은 인공지능 고유의 것이 아닙니다.

과학자들은 동물과 인간에게 초정상 자극의 개념이 비슷함을 증명했습니다.

1950

년대에 윤리학자 니콜라스 틴베르헌은 자연을 본떠 인공적으로 만든 과장된 물체가 갈매기들의 생득적

행동을 그 행동이 자연적으로 발생하는 것보다 더 크게 자극할 수 있음을 증명했습니다.

5

그는 대형의 가짜

알과 진짜 부리에 있는 ...