MLOps 도입 가이드

55

3장 MLOps의핵심기능

모델의 새 버전을 구축하고 나면, 다음 단계는 현재 배포된 버전과 지표를 기반으로 비교하는

것이다. 이 과정에서 두 모델을 동일한 개발용 데이터 세트로 평가해야 한다. 지표와 검사에서

두 모델 사이에 광범위한 변화가 있음을 확인했다면, 자동화된 스크립트로 배포하지 말고 수작

업으로 진행해야 한다.

새 학습 데이터로 아주 ‘간단한’ 자동화된 재학습 시나리오를 수행하더라도, 스코어링 데이터

보정(가능하면 실측 데이터를 활용한다), 데이터 정리 및 검증을 거친 여러 벌의 데이터 세트,

모델의 이전 버전, 신중하게 설계한 검사들이 필요하다. 다른 시나리오로 재학습시키는 경우에

는 훨씬 복잡하기 때문에 자동화된 배포는 거의 불가능하다.

예를 들어, 중대한 입력값 드리프트를 발견하여 재학습의 필요성이 생겼다고 하자. 모델을 어

떻게 개선할 것인가? 새 학습 데이터가 있어 이 데이터로 학습시킨다면 비용 면에서 가장 효율

적일 것이다. 하지만 실측 데이터를 얻는 데 시간이 오래 걸리는 환경에서는 새로 레이블링한

데이터를 조금밖에 얻을 수 없다.

이런 경우에는 드리프트의 원인을 이해할 수 있고 최신 입력 데이터를 정확히 반영하도록 기존

학습 데이터를 조정할 수 있는 데이터 과학자가 직접 개입해야 한다. 이러한 변경을 통해 구축

한 모델을 검증하기란 쉽지 않다. 데이터 과학자는 우선 상태, 즉 모델링 부채를 파악하고 성능

에 미칠 잠재적 영향도를 평가하며, 그 영향도를 경감시킬 방안을 고안하는 데 많은 시간을 들

여야 한다. ...