MLOps 도입 가이드

130

2부MLOps적용방법

적인 아이디어를 제공한다.

시스템 작동

모델 예측이 머신러닝 애플리케이션의 최종 산물인 경우는 드물다. 일반적으로는 시스템이 이

러한 예측을 기반으로 작업을 수행한다. 예를 들어, 이상 거래 탐지 사례에서 모델의 예측률이

높다면 시스템이 그 예측 결과를 바탕으로 하여 자동으로 거래를 차단하거나 은행에 경고를 보

낼 수 있다. 이러한 유형의 정보는 사용자 반응에 영향을 미치고 피드백 데이터에는 간접적으

로 영향을 미치기 때문에 중요하다.

모델에 대한 설명

금융이나 의료와 같이 규제가 심한 일부 영역에서는 예측을 설명(즉, 어떤 특성이 예측에 가장

큰 영향을 미치는지에 대한 설명)과 함께 제공해야 한다. 이러한 종류의 정보는 일반적으로 샤

플리 값 계산과 같은 기법을 활용하여 계산하고, 모델의 잠재적인 문제(예를 들어, 편향, 과대

적합)를 식별하기 위해 로깅해야 한다.

7.4.2

모델 평가

로깅 시스템이 구축되면 모니터링을 위해 상용 환경에서 데이터를 주기적으로 가져온다. 데이

터 드리프트 경고가 울리기 전까지는 모든 것이 잘 흘러간다. 즉, 입력되는 데이터 분포가 학습

데이터의 분포에서 드리프트되면 경고가 발생한다. 그러면 모델 성능이 저하되고 있을 가능성

이 높다.

검토한 후, 데이터 과학자는 이 장의 앞부분에서 설명한 기술을 사용하여 모델을 재학습시키고

개선하기로 결정한다. 다음 단계에서는 여러 학습된 모델을 후보로 사용하여 배포된 모델과 비

교한다. 사실 이는 동일한 데이터 세트에 대해 모든 모델(후보 모델뿐만 ...