MLOps 도입 가이드

127

7장 모니터링과피드백루프

●

범주형특성의경우,카이-제곱검정(

Chi

-

squared



test

)이실용적선택으로서,대상데이터에서관측된범

주형특성의빈도가원천데이터에서보인예상빈도와일치하는지여부를확인할수있다.

p

-값의 주요 장점은 드리프트를 최대한 빨리 감지하는 데 도움이 된다는 것이다. 주요 단점은

효과를 감지할 수는 있지만 효과를 정량적으로 확인할 수 없다는 점이다(즉 큰 데이터 세트의

경우, 완전히 영향이 없을 수도 있는 매우 작은 변화마저 감지한다). 따라서 개발 데이터 세트

가 매우 크다면 비즈니스에서 중요한 지표로

p

-값을 보완해야 한다. 예를 들어, 충분히 큰 데

이터 세트에서 평균 연령이 통계적 관점에서는 상당히 드리프트했을 수 있으나, 드리프트 수준

이 고작 몇 개월에 불과하다면 이는 비즈니스적으로 의미가 없을 수 있다.

도메인 분류기

domain

classifier

이 접근 방식에서 데이터 과학자는 원본 데이터 세트(입력값 특성 및 선택 사항으로 예측한 대

상)와 개발 데이터 세트를 구분하는 모델을 학습시킨다. 즉, 두 데이터 세트를 합친 데이터 세

트에 대해 데이터의 원천을 구분하는 분류기를 학습시키는 것이다. 그러면 이 모델의 성능(예

를 들어, 정확도)을 드리프트 수준에 대한 지표로 간주할 수 있다.

이 모델이 구분에 성공한다면, 즉 학습 시 사용한 데이터와 새 데이터를 구분할 수 있다면, 새

데이터가 드리프트되었다고 볼 수 있다. 더 많은 통찰을 얻으려면, 특히 드리프트를 유발한 ...