안전한 인공지능 시스템을 위한 심층 신경망 강화

120

2

부

적대적 입력 생성하기

5.6

요약

5

장에서는 적대적 사례를 뒷받침하는 몇 가지 기본 원칙을 소개했습니다. 이번에는

6

장의 적

대적 기법을 자세히 살펴보기 전에 적대적 입력의 수학적 배경을 알아보겠습니다.

적대적 사례의 수식

분류기 신경망이 있다고 가정해봅시다. 입력 데이터를 나타내는 벡터를 가져와서 출력을 반

환합니다.

(; )xyf =

H

이 방정식에서

f

는 출력을 생성하기 위해

DNN

알고리즘에 적용되는 함수입니다.

H

는 신

경망의 모든 매개변수(가중치와 편향)를 나타냅니다(

3

장 참조). 신경망이 성공적으로 훈련되

면 매개변수가 변경되지 않으므로 방정식을 다음과 같이 단순화할 수 있습니다.

()xyf=

x

는 입력이 위치한 원시 입력 공간상의 지점을 나타냅니다.

x

와

y

가 나타내는 것은 입력 데이터의 유형과

DNN

이 처리하는 작업에 따라 달라집니다.

흑백 이미지 분류기의 경우,

x

는 각각의 픽셀값에 대응하는 실수 벡터입니다.

x R!

y

는 분류기에서 ‘개’ 또는 ‘고양이’와 같은 단일 분류로,

DNN

의 출력층에서 반환된 확률 벡

터(예: 최곳값)에서 파생된 열거형이 할당됩니다. 따라서

y

는 이 경우 확률 벡터가 아니지만

1

의 숫자 집합에 속합니다. 여기서

L

은 분류 수입니다. 이것은 다음과 같이 작성합니다.

{}y ,,...L12!

적대적 사례를 만들려면 초기 입력을 ...