살아 움직이는 머신러닝 파이프라인 설계: 텐서플로와 함께하는 머신러닝 프로젝트 자동화

237

8

장

텐서플로 서빙을 사용한 모델 배포

구글 클라우드

AI

플랫폼 응답은 (텐서플로 서빙 인스턴스의

REST

응답과 유사한) 다양한 범

주에 대한 예측 점수를 포함합니다.

{‘predictions’: [

{‘label’: [

0.9000182151794434,

0.02840868942439556,

0.009750653058290482,

0.06182243302464485

]}

]}

입증된 배포 옵션은 전체 배포 인프라를 설정하지 않고도 머신러닝 모델을 신속하게 배포하는

방법입니다.

AWS

나 마이크로소프트 애저 같은 클라우드 공급자들도 유사한 모델 배포 서비스

를 제공합니다. 배포 요구 사항에 따라 클라우드 공급자는 자체 호스팅된 배포 옵션의 좋은 대

안이 될 수 있습니다. 단점은 잠재적으로 비용이 더 많이 들고 엔드포인트를 완전히 최적화하

지 못한다는 점입니다(즉,

8

.

14

절 ‘추론 요청 배치 처리’에서 설명했듯이

gRPC

엔드포인트나

배치 처리 기능을 제공합니다).

8.19

TFX

파이프라인을 사용한 모델 배포

[그림

8

-

1

]은 머신러닝 파이프라인의 한 컴포넌트로서 배포 단계를 보여주었습니다. 모델 배

포의 내부 작업, 특히 텐서플로 서빙에 대해 살펴본 후, 이 절의 머신러닝 파이프라인과 연결하

려고 합니다.

[그림

8

-

10

]에서는 연속 모델 배포 단계를 ...