안전한 인공지능 시스템을 위한 심층 신경망 강화

171

7

장

시스템에 사용하는 공격 패턴

양조 회사는 연구 목적으로 제공된 공개

API

를 사용해 점수 기반 블랙박스 방법으로 적대적

패치를 개발합니다. 이러한 시스템에 통합된 대기 시간과 쿼리 제한으로 몇 주가 걸립니다.

그러나 그들은 인내심을 가지고 결과를 기다립니다.

이러한 개방형

API

는 공격을 탐지할 수 있지만 그 목적은 알지 못하며 개방형

API

를 소유한

조직을 공격한 것도 아니기 때문에 은밀할 필요가 없습니다. 생성된 패치는 이미지들을 통해

그리고 온라인 검색 엔진으로 전송되리라는 열망을 품은 채 후속 디지털 마케팅 자료에 통합

됩니다. 패치가

100

% 성공하기를 기대하지 않습니다. 가끔만 검색되어도 목표를 이룬 것입

니다.

7.3

통합: 하이브리드 접근법과 절충안

실제 공격은 여러 가지 접근방식으로 구성할 수 있습니다. 공격자는 처음에 대체 모델에 적용

할 수 있는 적대적 사례를 개발할 것입니다. 그런 다음 대상 시스템에서 테스트해 모든 상황에

최대한 활용할 수 있는 공격 방법을 구성합니다.

모든 사이버 공격이 그렇듯이 준비가 중요합니다. 공격 전에 효과적인 적대적 입력을 생성하려

면 대상 시스템에서 실험해 작동하는 것과 작동하지 않는 것을 정해야 합니다. 그래서 종종 기

밀성과 견고함이 상충하곤 합니다. 강력한 적대적 사례를 개발하려면 대상에 더 ...