MLOps 도입 가이드

129

7장 모니터링과피드백루프

두 경우 모두 새롭게 드러난 패턴을 포착하고 반영하여 비즈니스에 부정적인 영향을 미치지 않

도록 하는 데 목표를 둔다. 이를 위한 인프라는 세 가지 주요 요소로 구성되는데, 이 요소들은

이 장의 앞부분에서 논의한 개념에서 중요한 역할을 할 뿐만 아니라 강력한

MLOps

기능에도

매우 중요하다.

●

여러상용서버에서데이터를수집하는로그시스템

●

버전관리및모델의서로다른버전간평가를수행하는모델평가저장소

●

섀도우스코어링(챔피언/챌린저(

champion

/

challenger

))방식또는

A

/

B

테스트를통해상용환경들에서

모델을비교하는온라인시스템

이어서 각 구성 요소의 목적, 주요 기능 및 과제에 대해 설명하겠다.

7.4.1

로깅

머신러닝 구성 요소와 무관하게, 라이브 시스템을 모니터링한다는 것은 시스템 상태에 대한 데

이터를 수집하고 집계하는 것을 의미한다. 오늘날 여러 대의 서버에 여러 모델을 동시에 배포

하는 등 상용 인프라는 점점 더 복잡해지고 있어 효과적인 로깅 시스템이 그 어느 때보다 중요

하다.

이러한 환경에서는 데이터를 자동 또는 수동으로 분석하고 모니터링할 수 있도록 중앙 집중화

해야 한다. 이를 통해 머신러닝 시스템을 지속적으로 개선할 수 있다. 머신러닝 시스템의 이벤

트 로그는 타임스탬프와 함께 다음과 같은 정보를 포함하는 기록이다.

모델 메타데이터

모델 및 버전에 대한 식별

모델 입력값

새로 관측한 값들의 특성 값. 이를 통해 새로 들어온 데이터가 모델이 예상한 데이터인지 ...