안전한 인공지능 시스템을 위한 심층 신경망 강화

238

4

부

방어

니므로 방어와의 관련성은 시나리오에 따라 달라집니다.

피드백 최소화

공격자는 쿼리에서 대상 시스템으로의 응답을 활용해 강력한 적대적 사례를 생성할 수 있습니

다. 이러한 응답은 적대적 입력 자체를 개발하거나 대체 모델로 제작한 후에 적대적 입력을 테

스트하는 데 사용할 수 있습니다. 쿼리에서 반환되는 유용한 정보의 양을 줄이면 적대적 입력

을 생성하기가 더 어려워집니다. 즉 모델 점수가 공개되지 않고 오류 메시지에 불필요한 정보

가 담기지 말아야 합니다.

비결정적 응답 제공

비결정적 응답은 공격자가 시스템의 세부적인 작동을 설정하지 못하게 하는 경우 매우 강력한

방어입니다. ‘무작위 드롭아웃 불확실성 측정’ (

10

.

1

.

4

참조 )에는 이러한 접근법의 예가 나와있

지만 운영 상황에 적합한 경우 비결정성을 광범위한 처리 과정에 도입할 수도 있습니다.

10.4

적대적 입력에 대항하는 강력한 방어 구축

10

장에서는 적대적 입력을 탐지하거나 제거하기 위한 여러 가지 접근법을 소개했습니다.

신경망이 견고해질수록 공격도 정교해집니다. 이 지속적인 과정 (공격자와 방어자의 ‘경쟁’)은

멀웨어 탐지나 스팸메일 필터링의 진화 과정과 유사히며, 적대적 사례 환경 역시 사용 가능한

방어 수단과 함께 비슷하게 변화할 것입니다.

10.4.1

프로젝트 열기

확실한 방어법은 아니지만, 현재 시점에서는 적대적 공격을 탐색하고 공개된 방어 메커니즘을

확고히 함으로써

DNN

알고리즘의 견고성을 향상시켜야 합니다. 이 중 일부는

6

장에서 언급

했으며, 이외에 시작하기에 ...