MLOps 도입 가이드

137

7장 모니터링과피드백루프

7.5

마치며

일반적인 소프트웨어는 요구사항을 만족하게끔 제작된다. 일단 애플리케이션을 배포하고 나

면, 그 목적을 달성하는 기능은 성능이 저하되지 않는다. 반면, 머신러닝 모델에서는 특정 데이

터 세트에 대한 성능 목표를 통계적으로 정의한다. 그 결과 데이터의 통계적 속성이 변경되면

성능도 보통 나쁜 쪽으로 변화한다.

머신러닝 모델에서는 일반적인 소프트웨어 유지보수 요구사항(버그 수정, 업그레이드 공개 등)

외에도 성능상의 드리프트도 주의 깊게 모니터링해야 한다. 우리는 실측 데이터에 기반한 성능

모니터링은 모델 모니터링의 기초가 되고, 드리프트 모니터링은 조기 경고 신호를 제공할 수

있음을 확인하였다. 가능한 드리프트 완화 조치 중에서, 새로운 데이터에 대한 재학습을 주요

방안으로 선택하고, 모델 수정은 선택 사항으로 남겨야 한다는 점도 확인하였다. 새 모델을 배

포할 준비가 되면, 섀도우 스코어링

또는

A

/

B

테스트를 통해 성능이 향상되었는지 확인할 수

있다. 이를 통해 새로운 모델이 시스템 성능을 향상시키는지 증명할 수 있다.