MLOps 도입 가이드

135

7장 모니터링과피드백루프

면, 이 서비스에 대한 요청을 두 배로 늘리는 경우 외부

API

호출도 그만큼 늘어 비용이 두 배

로 증가할 수 있다. 만약

API

가 캐싱 시스템을 가지고 있다면 두 번째 요청은 첫 번째 요청보다

훨씬 더 빠르게 처리될 것이므로, 두 모델의 총 예측 시간을 비교한 결과는 편향될 수 있다. 또

한 챌린저 모델은 들어오는 요청에서 임의의 하위집합에만 사용될 것인데, 이러한 구조로 인해

처리 시간이 늘어날 수 있지만 대신 결론을 도출하기 전까지 부하를 경감시킬 수도 있다.

마지막으로, 챌린저 모델을 구현할 때 시스템 작동에 영향을 미치지 않도록 해야 한다. 이는 두

가지 시나리오를 의미한다.

●

챌린저모델이예상치못한문제에부딪혀실패할경우,상용환경에응답시간측면에서중단이나저하가발

생하지않는다.

●

시스템이취하는조치는챔피언모델의예측결과에만의존하며,단한번만수행된다.예를들어,이상거래탐

지사례에서실수로챌린저모델이시스템에직접연결되어각거래를두번청구한다고가정해보자.이는거

의재앙에가까운시나리오다!

일반적으로 상용 환경이 평소처럼 돌아가고 챌린저 모델에서 발생하는 문제에 영향을 받지 않

도록 로깅, 모니터링 및 서비스 시스템에 어느 정도는 노력을 기울여야 한다.

A

/

B

테스트

A

/

B

테스트(두 가지 변종인

A

와

B

를 테스트하는 무작위 실험)는 웹사이트 최적화에서 널리

사용되는 기술이다. 머신러닝 모델에 챔피언/챌린저 방식을 사용할 수 없을 때만 사용해야 ...