살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

220

살아 움직이는 머신러닝 파이프라인 설계

url = “http://{}:{}/v1/models/{}/”.format(host, port, model_name)

if version:

url += “versions/{}”.format(version)

url += “:{}”.format(verb)

return url

...

# 전체 요청의 10%를 버전 1로 보내고

# 나머지 90%를 기본 모델로 보냅니다.

threshold = 0.1

# version = None일 때 텐서플로 서빙은 기본 버전으로 추론합니다.

version = 1 if random() < threshold else None

url = get_rest_url(model_name=’complaints_classification’, version=version)

보시다시피

REST

API

예에서 모델 추론에 대한 요청

URL

을 임의로 변경하면 몇 가지 기본적

인

A

/

B

테스트 피처를 제공할 수 있습니다. 서버 측에서 모델 추론의 랜덤 라우팅을 수행하여

이런 피처를 확장하려면

Istio

(

https

://

istio

.

io

/

)와 같은 라우팅 도구를 사용하는 것이 좋

습니다. 원래 웹 트래픽용으로 설계된

Istio

는 트래픽을 특정 모델로 라우팅하는 데 사용할 수

있습니다. 모델을 단계적으로 도입하거나, ...