안전한 인공지능 시스템을 위한 심층 신경망 강화

193

9

장

모델 견고성 평가

9.1

적대적 목표, 역량, 제약, 정보

공격자 프로필을 대상 시스템의 맥락에서 체계적으로 면밀히 조사할 때 그 위협을 일컬어 ‘위

협 모델’이라고 합니다. 위협 모델링은 위협 행위자, 공격 경로, 위험에 대한 상세한 분석이며

조직과 시나리오에 따라 구체화됩니다.

9

장에서는 완전한 위협 모델을 제공하지 않습니다. 오

히려, 광범위한 위협 모델링 시나리오에서 사용할 수 있는 정보이자 적대적 사례의 위협을 모

델링할 때 확인해야 하는 주요한 정보 몇 가지를 설명합니다.

가능한 위협을 모두 모델링하거나 예측할 수는 없지만 가능한 위협 시나리오를 다양하게 고려

하는 것이 좋습니다. 공격자의 관점에서 이해하면 적대적 입력에 대비하는 안전한 방어의 설계

에 도움됩니다.

적대적 사례는 종종 목표, 역량, 제약, 정보 측면에서 모델링됩니다.

9.1.1

목표

목표부터 알아봅시다. 공격자가 달성하려는 것이 무엇일까요? 그리고 목표는 시스템에 나타나

게 될 적대적 입력의 성격을 어떻게 정의할까요?

가장 고차적 수준에서 보면, 공격자가 시스템을 속임으로써 달성하려고 하는 것을 위협 목표로

볼 수 있습니다. 이는

2

장에서 제시한 초기 동기를 상기시킵니다. “내가 할 수 있기 때문에”와

같은 모호한 이유를 그냥 넘겨서는 안 됩니다. 그런 동기는 구체적이지 못한 목표와 명확하지

못한 위협 모델을 초래합니다. 그런 동기를 가지면 결과적으로 목표가 구체화되지 못하고 위협

모델이 명확해지지 못합니다.

고차적인 동기가 목표를 결정합니다. 이러한