MLOps 도입 가이드

95

5장 상용화준비

머신러닝과 계산 성능 지표를 검증하는 것과 더불어, 모델 안정성도 테스트에서 고려해야 할

중요한 요소다. 특징 하나를 살짝 변경하면 출력에도 조금 변화가 있을 거라고 예상하게 된다.

늘 맞지는 않지만 일반적으로는 이게 모델의 바람직한 속성이다. 매우 불안정한 모델의 경우,

높은 복잡도와 많은 허점이 있으며 황당한 경험을 제공할 수도 있다. 따라서 훌륭한 성능을 보

인다 하더라도 신뢰할 수 없다. 모델 안정성에 대한 정답은 없지만, 보통 간단하고 정규화된 모

델일수록 안정성이 더 높다.

5.5

재현 가능성과 감사 가능성

MLOps

에서 재현 가능성

Reproducibility

은 학계에서 규정하는 의미와 다르다. 학계에서 재현 가능

성이란 실험의 발견물을 충분히 잘 설명하여 다른 사람이 설명만 보고도 실험을 재현할 수 있

고, 실수만 없다면 동일한 결론에 도달할 수 있다는 것이다.

일반적으로

MLOps

에서 재현 가능성은 완전히 동일한 실험을 쉽게 재실행하는 기능도 포함한

다. 이는 모델과 함께 상세한 문서와 학습 및 테스트에 사용된 데이터, 모델의 구현체 및 실행

환경에 대한 상세한 사양(

4

.

6

절에서 확인하였다)을 제공한다는 것을 의미한다. 재현 가능성은

모델의 결과를 증명하는 데 필수적이기도 하지만, 이전 실험을 기반으로 디버깅하거나 개발할

때도 꼭 필요하다.

감사 가능성

Auditability

은 재현 가능성과 관련되어 있으나, 몇 가지 요구사항이 더 추가된다. 모델

을 감사할 수 있으려면, 신뢰할 만한 중앙 저장소에서 머신러닝 ...