MLOps 도입 가이드

122

2부MLOps적용방법

7.2.1

실측 데이터 평가

실측 데이터 기반 재학습에는 레이블 작업이 필요하다. 예를 들어, 이상 거래 탐지 모델에서 실

측 데이터는 특정 거래가 실제로 사기인지 여부일 것이다. 추천 엔진의 경우에는 고객이 추천

제품 중 하나를 클릭했는지(혹은 궁극적으로 구매했는지) 여부다.

새로운 실측 데이터를 수집하고 나면, 다음 단계는 실측 데이터를 기반으로 모델의 성능을 도

출하고 학습 단계에서 등록된 지표와 비교하는 것이다. 차이가 임곗값을 초과하면 모델은 현행

화되지 않은 것으로 간주할 수 있고 재학습해야 한다.

모니터링할 지표는 다음 두 종류다.

●

정확도,

ROC



AUC

(

https://oreil.ly/tY9Bg

),로그손실등과같은통계지표:모델설계자는최상의모

델을선택하기위한기준으로서지표를이미선택했을것이고,이지표가모니터링할지표중첫번째후보다.

평균적성능만으로충분하지않은더복잡한모델의경우하위집단에서계산한지표를살펴봐야할수도있다.

●

비용-이익평가와같은비즈니스지표:예를들어신용평가비즈니스의경우,자체적으로지표를개발한다

(

https://oreil.ly/SqOr5

).

첫 번째 종류의 지표는 도메인에 구애받지 않는다는 점이 주요 장점으로, 데이터 과학자 입장

에서는 ...