MLOps 도입 가이드

184

3부MLOps실제사례

을 사용해 효율적인지 확인해보고(탐색

exploration

), 때로는 수익을 극대화하기 위해 가장 효율적

일 가능성이 높은 버전을 사용한다(이용

exploitation

). 게다가 알고리즘은 오늘 가장 효율적인 모

델이 내일이 되면 가장 효율적이지 않을 수도 있음을 알기에 과거의 정보, 즉 어떤 모델이 효율

적이었는지 기억하지 않는다.

가장 진보된 선택지는 다양한

KPI

(클릭, 구매, 예상 매출 등)에 대해 각기 다른 모델을 학습시

키는 것이다. 모델들의 앙상블

ensemble

모델을 활용하여 모델들 간의 충돌을 해결할 수 있다.

10.6.6

성능 모니터링

영업 사원이 고객에게 세일즈코어가 추천한 제품을 구매하라고 제안하면, 고객이 추천한 제품

에 대해 취하는 반응뿐만 아니라 구매 여부도 기록된다. 그러면 이 기록을 사용하여 추천 시스

템의 성능을 추적하고, 고객 및 제품 데이터 세트를 이 기록으로 갱신하여 재학습 시 가장 최신

정보를 모델에 제공할 수 있다.

이 실측 데이터 기록 프로세스 덕분에,

A

/

B

테스트의 성능 비교 등을 포함하는 모델 성능 대시

보드를 사용자에게 제공할 수 있다. 실측 데이터를 빠르게 얻을 수 있으므로 데이터 드리프트

모니터링은 부차적이다. 모델의 버전을 매일 밤 재학습시키지만, 동결 메커니즘 덕분에 사용자

는 정량적 정보를 기반으로 활성 버전을 선택할 수 있다. 의사결정 과정에서 성과 지표에 대한

전체 맥락을 이해하기 힘든 경우, 영향도가 큰 의사결정 과정에는 인간을 배치해야 한다.

A