MLOps 도입 가이드

79

4장 모델개발

상당수 사례에서 데이터 과학자는 주기적으로 알고리즘, 하이퍼파라미터, 특성 등을 모두 유지

한 채 학습 데이터만 최신 데이터로 변경하여 모델을 재학습시킨다. 학습을 완료한 후에는 자

연스럽게 모델의 기존 버전과 새로 학습시킨 버전을 비교하여 새 버전을 검증한다. 그런데 이

를 위해서는 모델의 기존 버전 혹은 최초 버전을 구축 시 세웠던 가정들이 여전히 모두 유효한

지 확인해야 한다. 즉, 문제가 근본적으로 변화했는지, 이전에 선택한 결정들이 여전히 적합한

지 등을 확인한다. 이는 성능 및 드리프트 모니터링과 관련된 주제로서 자세한 내용은

7

장에서

살펴보겠다.

4.5.2

모델 작동의 교차 확인

모델 검증 시, 지표뿐만 아니라 모델이 어떻게 작동할지 이해하는 것도 중요하다. 모델의 예측

prediction

, 의사결정

decision

, 분류

classification

가 미치는 영향도에 따라 필요한 이해 수준에도 차이가

난다. 따라서 데이터 과학자는 적절한 절차를 수행하여 영향도를 파악해서, 모델을 상용 배포

한 후 비즈니스에 해를 끼치는 상황이 발생하지 않도록 해야 한다. 예를 들어, 의사 진단의 필

요성 여부를 예측하는 모델이 모든 환자가 의사에게 진료를 받아야 한다고 예측했다면, 이는

위급한 환자에 대한 예측 여부라는 단순한 기준으로 볼 땐 성공적이지만 리소스 투입 수준을

고려하면 과다하여 현실성이 떨어진다.

다음은 적절한 절차에 대한 예시다.

●

(모델을최적화할때기준으로삼은지표외에)다양한지표를교차확인(

Cross ...