안전한 인공지능 시스템을 위한 심층 신경망 강화

186

3

부

실제 위협 이해하기

제약

적대적 물체와 마찬가지로, 적대적 음향 공격의 성공 여부는 왜곡이 감지되지 않는 선에서 공

격자가 음향을 변경하는 정도에 달려 있습니다. 공격자가 제어하는 음향 내에서보다 기존 음향

내에서 적대적 명령을 숨기는 것이 더 어려울 수 있습니다. 예를 들어 공격자가 자신이 만든 일

부 음악이나 음성에 음향 왜곡을 추가하면 공격을 은폐하는 음향을 훨씬 더 잘 제어할 수 있습

니다. 또 다른 질문은 이것입니다. 적대적 음향을 완전히 숨겨야 할까요? 사람들이 그 소리를

인식하지 못해서 무시하거나 간과하는 한, 평범한 음악이나 말로 위장할 필요는 없습니다.

들리지 않는 음성 명령이 있는 공격은 더 까다로운 환경 조건에서도 가능합니다. 음향 변환

과 사운드 스피커 재생 제한사항을 고려해 오디오 영역에서 적대적

3D

모델을 생성하기 위한

EOT

방법의 용도를 변경하는 것이 좋습니다 (

8

.

1

참조).

가상 사례: 믿을 수 없는 음성 어시스턴트 기술

음성 어시스턴트를 제작하는 기술 회사의 신용을 떨어뜨리려는 시도로, 적대적 그룹은 겉보

기에 이상 없는 음악 트랙에 명령을 끼워넣습니다. 이는 표적 공격입니다. 명령은 ‘온라인 주

문을 수행하라’는 요청과 같이 구체적입니다. 음성 어시스턴트가 확인을 요청하는 지연이 이

어집니다. 그러면 적대적 그룹은 이 ...