안전한 인공지능 시스템을 위한 심층 신경망 강화

205

9

장

모델 견고성 평가

그림

9-7

입력 공간에서 적대적 사례의 안전 구역 계산

계산할 지표는 올바르게 분류한 모든 분포 입력 (가장 작은 안전 지대 )에서 적대적 사례를 생성

하는 데 필요한 최소 섭동입니다. 이는 입력 공간의 광대함과 예측 지도의 복잡성에 비하면 쉬

운 계산입니다. 그러나 연구원들은 수학적 근사법을 사용해 고도의 정확도로 견고성 지표를 설

정하는 방법을 제안했습니다.

1

이 연구는 글을 쓸 당시 초기 단계에 있지만, 이와 같이 이론적

으로 도출한 지표는

DNN

네트워크 보안 평가에서 점점 더 중요한 부분을 차지할 것입니다.

9.3

요약

9

장에서는 위협 모델을 고려하고 적대적 사례에 대한 견고성을 평가하는 다양한 방법을 탐색

했습니다. 모델을 평가하는 접근법을 일관되게 하기는 어렵지만

10

장에 열거한 공개 프로젝트

를 통해 모델 견고성을 평가하는 표준 경험적 측정 방법을 마련하는 데는 상당한 관심이 모아

지고 있습니다.

1

「

Evaluating

the

Robustness

of

Neural

Networks

:

An

Extreme

Value

Theory

Approach

」,

International

Conference

on

Learning

Representations

(

Tsui

-

Wei

Weng

et

al

.,

2018

),

http

://

bit

.

ly

/

2Rn5THO ...