머신러닝 시스템 설계

344

머신러닝 시스템 설계

즉 프로덕션 테스트로 이어지죠. 프로덕션 테스트를 두려워할 필요는 없습니다. 프로덕션에서

모델을 (대개 ) 안전하게 평가하는 데 도움이 되는 기술들이 있습니다. 이 절에서는 섀도 배포,

A

/

B

테스트, 카나리 배포, 인터리빙 실험

interleaving

experiment

, 밴딧

bandit

을 알아봅니다.

9.2.1 9.2.1

섀도 배포섀도 배포

섀도 배포

shadow

deployment

는 모델 혹은 소프트웨어 업데이트를 배포하는 가장 안전한 방법이며

다음과 같이 작동합니다.

1

.

기존 모델과 병렬로 후보 모델을 배포합니다.

2

.

들어오는 요청을 두 모델로 라우팅해 예측하되 기존 모델의 예측 결과만 사용자에게 제공합니다.

3

.

분석을 위해 새 모델의 예측 결과를 기록합니다.

4

.

새 모델의 예측 결과가 만족스러울 때만 기존 모델을 새 모델로 교체합니다.

이처럼 새 모델의 예측 결과가 만족스러운지 확인하기 전까지는 예측 결과를 사용자에게 제공

하지 않습니다. 따라서 새 모델이 튀는 작업을 수행할 위험도가 적어도 기존 모델보다는 높지

않습니다. 다만 이 기술은 비용이 높아 항상 유리하지는 않습니다. 시스템이 생성하는 예측 개

수가 두 배이므로 추론 연산 비용도 보통 두 배 증가하죠.

9.2.2 9.2.2

AA

//

BB

테스트 테스트

A

/

B

테스트는 ...