안전한 인공지능 시스템을 위한 심층 신경망 강화

223

10

장

방어

그렇다면 모든 적대적 사례가

OoD

일까요? 반드시 그렇지는 않습니다. 적대적 사례는 입력 공

간에서

OoD

영역에 있을 수 있지만 [그림

10

-

6

]에 표시된

OoD

데이터 지점과 같이 알고리

즘이 제대로 일반화하지 못한 입력 공간의 지점을 이용할 수도 있습니다. 이 지점은 여전히 훈

련 데이터와 동일한 분포에 있을 수 있습니다. 두 가지 경우가 [그림

10

-

8

]에 나와있는데, 이

그림은 훈련 데이터셋에서 발생하는 예측 지도를 묘사한 것입니다. 적대적 지점

1

은

OoD

가

맞지만, 적대적 지점

2

는 훈련 데이터 분포 내에 존재하지만 알고리즘이 올바르게 일반화할 수

없는 곳에 있습니다.

OoD

입력을 감지할 수 있었다고 해서 모든 적대적 사례를 감지할 수 있는 것은 아닙니다. 그러

나 신뢰도를 모델의 예측과 연결하면 더 큰 이점이 있습니다. 신경망이 올바르게 수행할 수 있

는 데이터 분포를 측정하는 방법은 입력이 ‘안전한’ 분포에 속하는지 식별하는 데 도움됩니다.

주변 픽셀 사이의 높은 대비를 감지하는 등 이미지의 사실성을 확인하는 몇 가지 방법이 있습

니다. 이러한 방법은 [그림

10

-

7

]에 표시된 ‘치타’와 같은 ‘명백한’

OoD

데이터를 캡처하는 데

성공할 수 있지만 더 명확한 모양과 패턴으로

OoD

이미지를 감지하는 데는 성공하지 못합