MLOps 도입 가이드

94

2부MLOps적용방법

5.4

테스트에 대한 핵심 고려 사항

모델 테스트는 모델을 신중히 선별한 데이터에 적용하고 요구사항에 따라 측정 대상을 검증하

는 것으로 구성된다. 데이터를 선택하거나 생성한 방법과 필요한 데이터의 양이 중요하지만,

이는 모델이 다룰 문제에 따라 달라진다.

어떤 경우에는 테스트 데이터가 ‘현실 세계’ 데이터와 일치하지는 않을 수 있다. 예를 들어, 여

러 가지 시나리오를 준비하는 건 좋은 아이디어이며, 일부는 현실적 상황을 반영하지만 다른

일부는 문제가 될 것 같은, 만들어진 상황(예를 들어, 극단적인 값들이나 누락된 값들)일 수 있

다.

지표는 통계적인 관점(정확도

accuracy

, 정밀도

precision

, 재현율

recall

등)과 컴퓨팅 관점(평균 지연

시간, 백분위상

95

번째 지연시간 등) 모두에서 수집해야 하고, 테스트 시나리오는 가정 중 일

부라도 확인되지 않으면 실패로 간주해야 한다. 예를 들어, 모델의 정확도가

90

%를 넘지 못하

거나, 평균 추론 시간이

100

밀리초 이상 걸리거나, 추론 중

5

% 이상이

200

밀리초 이상 걸리

면 테스트는 실패다. 이러한 가정을 전통적 소프트웨어 엔지니어링 분야에서 쓰는 것처럼 기대

expectation

혹은 검사

check

, 주장

assertion

이라고 부른다.

통계적 테스트는 결과 전체에 ...