안전한 인공지능 시스템을 위한 심층 신경망 강화

182

3

부

실제 위협 이해하기

정지 신호 예제에서는 존재하는 신호 그 자체에 변형을 주었습니다. 무관해 보이는 적대적 변

형을 생성하기 위해서 연구원들은 섭동 계산을 이미지의 일부에만 제한해서 사람 관찰자가 흙

이나 낙서로 보고 지나쳐버릴 가능성을 높였습니다.

가상 사례: 감시 오탐지

공공 장소를 감시하는 모든 카메라를 보안 담당자가 지속적으로 확인할 수는 없습니다. 잠재

적인 위협에 신속하게 대응하기 위해서 이미지 데이터를 실시간으로 처리하면서 총기의 존

재를 탐지하고 경고합니다. 경고 신호가 보안팀에 전달되면 오탐지인지 확인하고 실제로 발

생할 수 있는 사태에 대비해 신속하게 대응합니다.

어떤 조직이 행사 기간 동안 행사장에 혼동을 야기하려고 합니다. 이 조직은 적대적 섭동이

포함되었으나 겉보기에는 무해한 로고가 있는 가방을 만들어 결국 총기로 잘못 분류하게 합

니다. 적대적 섭동은 변형과 조명에 견고하며 여러 이미지 처리 모델에 두루 전달될 수 있도

록 설계됩니다.

조직은 행사가 시작되기 전에 이 가방을 주변의 여러 노점상에 간접적으로 배포합니다. 그런

다음 행사에 참석한 개인들에게 공개적으로 판매하며, 행사장 내에 태연히 전시합니다.

결과적으로 오탐지 경고가 증가하면 위협 수준이 높아지고 보안 팀은 행사장에 참석한 사람

들의 가방을 훨씬 더 많이 검사해야 하므로 ...