MLOps 도입 가이드

97

5장 상용화준비

적 공격이 있다. 인간의 눈으로는 인지하기 힘들거나 불가능한 요소를 이미지에 심어두고 모델

이 예측을 완전히 다르게 하도록 유도하는 방식이다. 핵심 아이디어는 수학적으로 보면 비교적

간단하다. 딥러닝 추론은 근본적으로 매트릭스 곱셈이기 때문에, 계수에 대한 약간의 변화를

잘 고르기만 해도 결과가 크게 달라질 수 있다.

이 원리를 활용하는 한 가지 예시(

https://arxiv.org/abs/1707.08945

)로서, 자율 주행 자동

차의 비전 시스템에 혼란을 주기 위해 도로 표지판에 붙이는 작은 스티커가 있을 수 있다. 스티

커를 붙임으로써 차량이 도로 표지를 인지하지 못하거나 잘못 분류하도록 유도하는 반면, 사람

은 바로 인지하고 이해할 수 있도록 한다. 공격자가 시스템에 대해 잘 이해할수록, 혼란을 일으

킬 방법을 찾을 가능성이 높다.

인간은 추리를 통해 위와 같은 방법을 찾아낼 수 있다. 특히 간단한 모델일수록 쉽다. 하지만

딥러닝처럼 복잡한 모델에 대해서는, 공격자가 쿼리를 많이 해보고 가능한 한 많은 조합을 시

도하기 위한 전수 공격

brute

force

이나 문제점을 찾아내는 모델을 활용해야 한다. 대책을 마련하는

것도 모델의 복잡도나 가용성으로 인해 점점 어려워지고 있다. 로지스틱 회귀와 같은 간단한

모델은 근본적으로 면역성이 있는 반면, 오픈소스인 사전 학습된 심층 신경망 같은 경우에는

아무리 고도화된 공격 탐지기를 내장한다 하더라도 언제나 취약점을 내포하고 있다(

https://

arxiv.org/abs/1705.07263 ...