안전한 인공지능 시스템을 위한 심층 신경망 강화

119

5

장

적대적 입력의 원리

문제점은 입력 데이터의 각 부분에 동일한 가중치를 할당한다는 것입니다. 측정에서는 이미지

내의 모든 픽셀이 동일하게 인식되고 해당 이미지에 대한 인간의 인식에 동등하게 기여한다고

가정합니다. 그러나 이것은 사실이 아닙니다. 사람들은 일반적으로 이미지의 복잡한 부분에 가

한 변경을 잘 알아차리지 못하는 것으로 증명되었습니다. 간단한 영역 (예: 맑은 하늘)에서 픽

셀 변화가 더 두드러질 수 있습니다.

오디오 데이터에서는 왜곡 메트릭을 이용해 적대적 사례를 생성하기도 합니다. 여기서 사용하

는 데시벨(

dB

)은 원본 오디오에 대한 왜곡의 상대적 음량을 측정하는 로그 스케일입니다. 오

디오의 작은 소리에서 변화는 큰 소리에 비해 상대적으로 작기 때문에 적대적인 오디오가 인간

에게 인식되지 않는 상태를 유지하는 좋은 방법입니다.

인간이 이미지를 보거나 오디오를 들을 때 어디에 가장 주의를 기울이는지를 연구한 적이 있습

니다. 이것은 기계 관점이 아니라 인간의 두드러진 특징입니다(

5

.

2

참조 ). 적대적 사례의 섭동

은 인간에게는 덜 흥미롭지만 모델에는 더 흥미롭도록 입력 데이터를 개선할 수 있습니다. 이

미지를 예로 들어봅시다. 인간은 이미지를 볼 때 무의식적으로 분할해 전경에 더 집중하고 배

경에는 덜 집중합니다. 이는 이미지의 번잡한 배경에 섭동을 적용하는 것과 같이 적대적 입력

을 생성할 때 더 효과적이고 간단한 기술이 될 수 있습니다.

잠깐 화제를 바꿔 심리학에서 말하는 ‘감각의 절대 임계값’을 정의해봅시다. 이것은 ...