MLOps 도입 가이드

121

7장 모니터링과피드백루프

기를 정확한 방향으로 띄우고 아무런 제어 없이 뉴욕에 안전하게 착륙하기를 바라는 것과 같다.

다행스러운 점은 처음에 이미 모델을 학습시키는 데 충분한 데이터를 수집했다면 대부분의 재

학습 방법을 활용할 수 있다는 것이다(교차 학습한 모델을 다른 맥락에서 활용하는 경우에는

불가능하다. 예를 들어, 한 국가의 데이터로 학습한 모델을 다른 국가에서 사용하는 경우다).

결국 조직은 배포한 모델의 드리프트 및 정확성에 대한 모니터링과 알림이 쉽게 수행되도록 프

로세스를 수립하고 명확히 이해해야 한다. 이상적인 방안은 모델 성능 저하 검사를 자동으로

수행하도록 머신러닝 파이프라인을 수립하는 것이다.

하지만 모니터링 알림의 목표가 꼭 재학습, 검증, 배포와 관련된 자동화된 프로세스를 시작하

는 것만은 아니다. 모델 성능은 다양한 이유로 변경될 수 있으며, 재학습이 항상 정답은 아닐

수 있다. 따라서 핵심은 데이터 과학자에게 변화에 대해 경고하는 것이다. 그러면 경고를 인지

한 사람이 문제를 진단하고 다음 조치 방안을 결정할 수 있다.

따라서 데이터 과학자와 그들의 관리자 그리고 조직 전체(여기서 조직은 최종적으로 모델 성능

저하 및 후속 변경에 의한 비즈니스상의 결과를 처리해야 하는 법적 실체를 말한다)가

MLOps

및 머신러닝 모델 생애주기의 일부가 되어 모델의 성능 저하를 이해하는 것이 중요하다. 실제

로 모든 배포된 모델은 유의미한 비즈니스 성능 저하가 있는지 최대한 신속하게 감지할 수 있

도록, 모니터링할 지표와 ...