안전한 인공지능 시스템을 위한 심층 신경망 강화

23

1

장

소개

람들에게도 흥미로웠습니다. 더 나아가, 심층 신경망을 쉽게 속일 수 있다는 사실은 언론의 관

심을 끌었습니다. 일부 기사에서는 이 현상을 인공지능의 ‘착시 현상’으로 설명했습니다.

우리는 신경망이 신경 과학에서 영감을 받아 인간의 지능을 효과적으로 모방한 것처럼 보였기

때문에 인간처럼 인식한다고 생각했습니다. 애초에 심층 신경망은 뇌의 시냅스와 뉴런에서 착

안해 이들을 단순화한 개념이므로 심층 신경망이 뇌의 시각 피질과 유사한 방식으로 이미지를

해석한다고 가정하는 것은 문제가 되지 않았습니다. 그러나 이것은 사실이 아닙니다. 사람은

이미지를 분류하는 데 사용하는 추상 기능을 명확하게 추출해내지는 않지만 서로 다른 규칙을

사용합니다. 신경망 기술을 연구하는 사람들은 알고리즘이 어떻게 속일 수 있는지를 이해함으

로써 알고리즘 자체에 대한 통찰력을 얻게 되었습니다.

세게디가 논문에서 밝힌 것처럼 심층 신경망이 속임수에 취약하다는 점은 음성이나 텍스트에

서도 증명되었는데, 이는 이미지 데이터를 처리하는 심층 신경망에만 국한되지 않고 더 광범위

하게 적용될 수 있음을 나타냅니다. 갈수록 심층 신경망에 대한 의존도가 커지고 있는 세계에

서 이 발표는 빅뉴스가 되었습니다.

1.4

‘적대적 입력’이란 무엇인가

이미지 처리 분야에서 말하는 ‘적대적 입력’의 개념은 인공지능에서 발생하는 착시 현상을 말합

니다. 고양이 사진에 있는 픽셀을 일부 변형하면 인공지능은 ‘고양이 사진’을 ‘개’로 분류합니다.

‘개’라고 인식할 수 있는 변화를 넣어줌으로써 ...