MLOps 도입 가이드

77

4장 모델개발

4.5

모델 평가 및 비교

조지

E

.

P

. 박스라는

20

세기 영국 통계학자는 모든 모델은 틀렸고 일부만 유용할 뿐이라고 이

야기했다. 달리 표현하면, 모델이 완벽할 필요는 없지만 불쾌한 골짜기

uncanny

valley

를 바라보면

서 ‘유용할 정도로는 좋음’이라는 문턱을 넘을 정도는 돼야 한다. 불쾌한 골짜기는 모델이 대부

분 잘 작동하고 있는 것으로 보이지만, 특정 사례의 하위집합에 대해서는 나쁜(혹은 치명적인)

결과를 보이는 것을 의미한다.

이를 염두에 둔 상태에서 모델을 평가하고, 기존 모델이든 규칙 기반 프로세스든 해당 모델 이

전에 존재했던 것과 비교하는 것이 중요하다. 그래야만 현재의 모델 혹은 의사결정 프로세스가

새로운 모델로 대체될 경우 어떤 일이 일어날지 알 수 있다.

절대적인 성능을 보이지만 기술적으로 실망스러운 모델이라 할지라도 기존 상황을 개선하는

데 도움이 될 수 있다. 예를 들어, 특정 상품 혹은 서비스에 국한하여 약간이라도 더 정확하게

수요를 예측할 수 있다면 엄청난 비용 절감 효과를 얻을 수 있다.

반대로, 모델이 지표상으로 완벽한 결과를 보이면 오히려 의심스러울 수 있다. 왜냐하면 대다

수 문제에는 예측할 수 없을 만큼 적더라도 노이즈가 포함되어 있을 수 있기 때문이다. 지표상

으로 완벽하거나 거의 완벽하다는 것은 데이터에 문제가 있거나(예측해야 하는 대상이 이미 학

습 데이터에 들어 있거나, 입력값의 특성이 대상과 밀접하게 연관되어 사실상 학습 데이터에

포함한 것과 같은 경우) 모델이 학습 ...