MLOps 도입 가이드

110

2부MLOps적용방법

테스트를 사용할 수 있다. 두 개념은 서로 연관되어 있으나 단계가 다르다.

A

/

B

테스트는 카나

리 출시를 통해서 수행할 수도 있지만, 응용 프로그램 내에 로직을 직접 추가하여 구현할 수도

있다.

7

장에서는

A

/

B

테스트 설정의 통계적 측면에 대해 자세히 설명한다.

전반적으로 보면 카나리 출시는 강력한 방법이지만, 배포 관리, 지표 수집, 지표 지정 및 통계

도출, 결과 표시, 경고 발송 및 처리 등의 작업을 처리하기 위해서는 다소 고도화된 도구가 필

요하다.

6.3.3

상용 환경의 유지보수

모델을 출시한 뒤에는 유지보수를 해야 한다. 높은 수준에서 유지보수하는 데 필요한 세 가지

조치는 다음과 같다.

자원 모니터링

Resource

monitoring

서버에서 실행 중인 애플리케이션과 마찬가지로,

CPU

, 메모리, 디스크 또는 네트워크 사용량

과 같은

IT

지표를 수집하여 문제를 감지하고 해결할 수 있다.

상태 점검

Health

check

모델이 실제로 온라인 상태인지 확인하고 지연시간을 분석하기 위해서는, 고정된 간격(

1

분 단

위)으로 모델에 요청하고 결과를 기록하는 방식의 상태 점검 메커니즘을 구현하는 것이 일반적

이다.

머신러닝 지표 모니터링

ML

metrics

monitoring

모델의 정확성을 분석하고 다른 버전과 비교하거나 모델 성능이 떨어졌는지 감지하는 것이다.

많은 계산이 필요할 수 있으므로 일반적으로 모니터링 빈도가 낮지만 응용 프로그램에 따라 다

르다. 일반적으로 일주일에 한 번 수행된다.

7

장에서 ...