머신러닝 시스템 설계

297

8

장

데이터 분포 시프트와 모니터링

작업 )에서 특히 흔하게 발생합니다.

한 번에 한 가지 유형의 시프트만 발생한다는 법은 없습니다. 모델에 여러 유형의 드리프트가

한꺼번에 발생하면 처리하기가 훨씬 더 까다롭습니다.

8.2.3 8.2.3

데이터 분포 시프트 감지데이터 분포 시프트 감지

데이터 분포 시프트는 모델 성능이 저하될 때만 문제가 됩니다. 따라서 첫 번째 아이디어는 프

로덕션 환경에서 모델의 정확도 관련 지표 (정확도,

F1

점수, 재현율,

AUC

-

ROC

등)를 모니

터링하면서 변화를 확인하는 것입니다. 여기서 ‘변화’는 일반적으로 ‘감소’를 의미하지만 특별한

까닭 없이 모델의 정확도가 갑자기 오르거나 크게 변동한다면 조사해보고 싶을 겁니다.

정확도 관련 지표는 모델의 예측값을 그라운드 트루스 레이블과 비교하는 식으로 계산합니

다.

30

모델 개발 중에는 레이블을 이용할 수 있지만 프로덕션 환경에서 레이블은 항상 이용 가

능한 것이 아니며, 이용 가능하더라도

4

.

2

.

2

절 ‘자연 레이블’에서 이야기했듯 보통 지연 입수됩

니다. 합리적인 시간 안에 레이블을 이용할 수 있다면 모델 성능에 대한 가시성을 확보하는 데

큰 도움이 됩니다.

그라운드 트루스 레이블이 사용 불가하거나 너무 지연돼 유용하지 않다면 대신 관심 있는 다른

분포를 모니터링할 수 있습니다. ...