MLOps 도입 가이드

78

2부MLOps적용방법

안타깝게도, 모든 경우에 적합한 지표는 없다. 그 문제에 적합한 지표를 선택해야 한다. 즉, 지

표가 보이는 수학적 관점의 한계와 타협점, 모델의 최적화에 끼치는 비즈니스 관점의 영향 등

을 파악하여 선택해야 한다.

모델이 얼마나 일반화되었는지 확인하려면 모델 학습에 사용하지 않은 데이터(보류 데이터 세

트

holdout

dataset

)를 기반으로 지표를 확인해야 한다. 이런 방법을 교차 테스트

Cross

-

testing

라 부른다.

평가를 위해 일부 데이터를 보관하고, 나머지는 학습 혹은 최적화(지표 평가 혹은 하이퍼파라

미터 최적화 등) 단계에서 사용한다. 이처럼 단순한 분리 외에도 여러 가지 전략이 있다. 예를

들어,

K

-분할 교차 검증

K

-

fold

cross

-

validation

의 경우, 데이터 과학자는 여러 번에 걸쳐 평가 및 학

습을 진행하기 위해 데이터를 여러 번 분할한다. 이 경우 학습 시간은 늘어나지만 지표의 안정

성에 도움이 될 수 있다.

단순 분할의 경우, 보류

데이터 세트를 구성할 때 임의로 선택한 데이터가 아닌 가장 최신 데이

터를 사용할 수 있다. 사실 모델은 미래를 예측하는 데 쓰는 경우가 많으므로, 가장 최신 데이

터를 기반으로 검증하면 모델의 성능에 대해 더 현실적인 추정을 할 수 있다. 거기에 더해, 학

습 데이터 ...