안전한 인공지능 시스템을 위한 심층 신경망 강화

35

2

장

공격 동기

심층 신경망 기술은 우리 삶의 일부가 되었습니다. 예를 들어, 아마존 알렉사, 애플 시리, 구글

어시스턴트, 마이크로소프트 코타나와 같은 디지털 어시스턴트는 딥러닝 모델을 사용해 음성

명령 (오디오 )에서 의미 있는 데이터를 추출합니다. 웹 검색과 같은 온라인 상호작용을 가능하

게 하고 큐레이션하는 많은 알고리즘은 심층 신경망을 활용해 관리 중인 데이터를 이해합니다.

특히 자율 주행차와 같이 안전이 중요한 응용 분야에서 딥러닝 모델을 점점 더 많이 사용하는

추세입니다.

인공지능 기술은 카메라와 같은 물리적 세계나 소셜 미디어에 업로드하는 이미지 등 사람이 소

비하는 데이터를 직접 가져옵니다. 그러나 컴퓨터 시스템이 출처를 신뢰할 수 없는 데이터를

처리할 때는 취약점이 생길 수 있어 문제가 될 수 있습니다. 이러한 취약점을 악용하기 위해 적

대적 입력을 생성하려는 동기는 다양하지만 다음과 같은 범주로 크게 나눌 수 있습니다.

회피

자동화한 디지털 분석에서 콘텐츠 숨기기. 예를 들어 웹 필터 우회 (

2

.

1

), 감시 위장 (

2

.

3

), 개

인 정보 온라인 (

2

.

4

)을 참조합니다.

영향

개인, 상업 또는 조직의 이익을 위한 자동 결정에 영향 미치기. 예를 들어 온라인 평판과 브랜

공격 동기

CHAPTER

2