머신러닝 시스템 설계

161

4

장

훈련 데이터

선하는 데 도움이 됩니다.

61

잡음 샘플은 무작위 잡음을 추가하거나 탐색 전략을 통해 생성 가

능합니다. 무사비-데즈풀리

Moosavi

-

Dezfooli

를 비롯한 연구자들이 제안한

DeepFool

알고리즘

은 높은 신뢰도로 오분류를 야기하는 데 필요한 최소 잡음 주입 정도를 찾아냅니다.

62

이러한

증강을 적대적 증강이라고 부릅니다.

63

적대적 증강은

NLP

에서 잘 사용되지 않으며 (곰 이미지에 임의로 픽셀을 추가하면 여전히 곰

처럼 보이지만 임의의 문장에 임의의 문자를 추가하면 헛소리처럼 보일 가능성이 높음 ) 모델

을 보다 강건하게 만드는 방법으로 교란이 사용됩니다. 가장 주목할 만한 예는

BERT

입니다.

모델이 각 시퀀스의 전체 토큰에서

15

%를 무작위로 선택하고 그중

10

%를 다시 선택해 임의의

단어로 대체하죠. 예를 들어, ‘우리 집 강아지는 복슬복슬해’라는 문장이 주어졌을 때 모델이 무

작위로 ‘복슬복슬해’를 ‘사과야’로 바꾸면 문장은 ‘우리 집 강아지는 사과야’가 됩니다. 따라서 전

체 토큰의

1

.

5

%는 무의미한 것이 될 수 있죠. 해당 논문의 절제 연구

ablation

study

64

에 따르면 문

장의 일부를 무작위로 교체하는 것이 모델 성능을 약간 향상합니다.

65

6

장에서는 모델 성능을 향상하는 방법이 아니라 평가하는 방법으로써 ...