안전한 인공지능 시스템을 위한 심층 신경망 강화

33

1

장

소개

머신러닝 모델 리버스 엔지니어링

공격자가 머신러닝 알고리즘의 사본을 획득한다면, 훈련 데이터의 특성과 관련된 잠재적 기밀

정보 또는 민감한 정보를 추출하도록 알고리즘을 리버스 엔지니어링할 수 있습니다(이 책에서

는 이 유형의 공격을 다루지 않습니다 ).

1.6

적대적 입력의 의미

심층 신경망 모델은 우리 사회 전체에 널리 퍼져 있으며 일상생활의 여러 분야에 스며들어 있

습니다. 또한 이 모델이 탑재된 많은 인공지능 시스템은 제어할 수 없는 데이터로 작동하며 때

로는 온라인 디지털 소스와 실제 세계에서 입력을 받습니다. 예를 들면 다음과 같습니다.

•외부인의 접근을 감시하는 얼굴 인식 시스템

•공격적 또는 불법적 이미지의 업로드를 감지하는 온라인 웹 필터

•제약이 없는 물리적 환경에서 작동하는 자율 주행차

•전화 음성 사기 탐지

•음성 명령으로 작동하는 디지털 어시스턴트

적대적 사례가 심층 신경망을 쉽게 속일 수 있다면 신뢰할 수 없는 출처의 데이터를 수집하는

인공지능 솔루션이 사이버 위협이 될까요? 적대적 입력이 실제로 일상생활에서 사용하는 시스

템의 보안과 무결성에 얼마나 많은 위험을 초래할까요? 마지막으로 시스템 개발자는 이러한

공격 경로가 악용되지 못하도록 어떤 완화책을 사용할 수 있을까요?

이러한 질문에 답하기 위해서는 공격자의 동기와 능력을 알아야 합니다. 왜 심층 신경망이 적

대적 입력의 함정에 빠지고 어떻게 해야 심층 신경망이 속임수에 속지 않게 할 수 있는지 알아

야 합니다. 또한 심층 신경망이 포함된 광범위한 처리 ...