MLOps 도입 가이드

123

7장 모니터링과피드백루프

할 수만 있다면 실측 데이터 모니터링이 최선의 해결책이다. 하지만 몇 가지 문제가 있다. 다음

은 실측 데이터 활용에 따른 세 가지 주요 과제다.

●

실측데이터는언제든즉시혹은시간이얼마안걸려이용할수있는것이아님:일부유형의모델은실측데

이터레이블을얻기위해몇개월(또는그이상)을기다려야하며,이는모델이빠르게저하되는경우상당한

경제적손실로이어질수있음을의미한다.앞서말했듯이,실측데이터를얻기위한지연기간보다드리프트

가빨리발생하는모델은위험하다.게다가정의에따르면드리프트는언제발생할지예측할수없으므로,지

연기간이긴모델의경우리스크경감방안이필요하다.

●

실측데이터와예측결과의분리:배포한모델의새로운데이터에대한성능을도출하기위해서는실측데이

터와모델관측결과를서로연관지을수있어야한다.많은상용환경에서이두가지정보는서로다른시스

템에서서로다른타임스탬프로생성되어저장되기때문에연관짓기가어렵다.저비용모델또는수명이짧은

모델의경우자동화된실측데이터를수집할가치가없다고판단할수도있다.하지만빠르든늦든모델을재

학습시켜야하므로실측데이터와예측결과를분리하는것은다소근시안적이라는점에유의해야한다.

●

실측데이터를부분적으로만이용할수있음:어떤경우에는모든관측결과와실측데이터를연결하기위해

아주많은비용이들어간다.그결과 ...