안전한 인공지능 시스템을 위한 심층 신경망 강화

199

9

장

모델 견고성 평가

공격자가 자신의 대상 복사본(예: 디지털 지원 )을 가지고 있다면 시스템을 실험하고 지식을

얻을 수 있는 무제한의 접근 권한을 가진 셈입니다. 그러나 실제로 데이터를 가져와 비디지털

수단을 통해 직접 대응하는 시스템을 대상으로는 자동화된 실험을 수행하기가 더 어렵습니다.

예를 들어, 디지털 어시스턴트와 상호 작용하기 위한 프로그래밍 가능한 인터페이스가 없습니

다. 이 경우, 공격자는 대체 모델에서 적대적 데이터를 생성한 다음 대상 장치에서 테스트를 개

시하기에 앞서 실제 복사본에서 정밀한 테스트를 실행할 공산이 큽니다.

9.2

모델 평가

적대적 사례에 대한 모델의 견고성을 정량화하는 것이 과연 가능할까요? 이 질문이 흥미로운

이유는 이를 통해 운영 환경에 배포한 모델을 비교하고 보장할 수 있기 때문입니다. 예를 들어,

특정 방어가

DNN

의 견고성에 미치는 영향을 정량화하는 것이 유용할 수 있는데, 방어가 정

확도에 의해 상쇄되는 경우에 더욱 그렇습니다. 또는 어떤 방어가 모델의 안전한 작동을 보장

하는 데 가장 효과적인지를 확인하기 위해 방어를 객관적으로 비교하는 것이 유용할 수 있습

니다.

현재 가능한 모든 입력에서 완벽하게 작동하는

DNN

을 생성할 수는 없습니다. 예를 들어, 저

해상도 (

224*224

픽셀 ) 컬러 이미지를 사용하는 네트워크조차도

256

150528

",

개의 서로 다른 가

능한 이미지를 올바르게 수행하는 것으로 증명되어야 합니다. 우리는

DNN

이 의도적으로 적

대적이지 않고 훈련 데이터셋을 ...