MLOps 도입 가이드

136

2부MLOps적용방법

많은 책에서

A

/

B

테스트를 다루고 있으므로, 여기서는 주요 개념과 간략한 설명만 제공하겠

다. 챔피언/챌린저 방식과 달리,

A

/

B

테스트에서 후보 모델은 일부 요청에 대한 예측 결과를

반환하고 원본 모델은 그 외 다른 요청을 처리한다. 테스트 기간이 종료되면 통계적 테스트를

활용하여 두 모델의 성능을 비교하고, 팀은 해당 테스트의 통계적 중요성에 따라 결정을 내릴

수 있다.

MLOps

관점에서 몇 가지 고려해야 할 사항이 있는데, 다음 [표

7

-

1

]에서 살펴보자.

표

7-1



MLOps

의

A

/

B

테스트고려사항

단계

MLOps

고려 사항

A

/

B

테스트전

명확한목표정의:최적화대상인정량적비즈니스지표로,클릭률등이여기에해당한다.

정확한모집단정의:그룹간편향이생기지않게하는분할전략과함께테스트에사용할실험군

을신중하게선택한다. 이는약물 연구에서 보편적으로쓰이는 소위실험설계(

experimental



design

)또는무작위대조군시험이다.이것은무작위분할일수도있고더복잡할수도있다.예

를들어특정고객의모든요청을동일한모델에서처리하도록지시하는상황이발생할수있다.

통계적프로토콜정의:통계적검정을활용하여결과지표를비교하고,귀무가설을 ...