
419
19
장
텐서플로 서빙으로 배포하기
텐서플로 서빙으로 배포하기
CHAPTER
19
이전 몇 개의 장에서 안드로이드,
iOS
, 웹 브라우저에 모델을 배포하는 방법을 알아보았습니
다. 모델을 배포할 수 있는 확실한 또 다른 장소는 서버
server
입니다. 사용자가 데이터를 서버로
전송하면 모델로 추론을 수행해 결과를 반환합니다. 이를 위해 제품 수준의 확장성은 물론
API
엔드포인트를 제공하는 간단한 래퍼
wrapper
인 텐서플로 서빙
TensorFlow
Serving
을 사용할 수 있습니
다. 이번 장에서는 텐서플로 서빙을 소개하고 이를 사용해 간단한 모델을 배포하고 추론을 관
리하는 방법을 알아보겠습니다.
19.1
텐서플로 서빙이란
이 책은 주로 모델을 만드는 데 초점을 맞추었습니다. 모델 구축은 그 자체만으로도 엄청난 작
업이지만 머신러닝 모델을 제품에 사용할 때 필요한 전체 그림의 일부분일 뿐입니다. [그림
19
-
1
]에서 볼 수 있듯이 모델링 코드는 설정, 데이터 수집, 데이터 검증, 모니터링, 자원 관리,
특성 추출은 물론 분석 도구, 프로세스 관리 도구, 서빙 인프라를 위한 코드와 함께 운영되어야
합니다.
텐서플로 생태계에서는 이를 위해 텐서플로 익스텐디드
TensorFlow
Extended
(
TFX
)라는 도구를 제공
합니다. 다만 이 책에서는 이번 장에서 소개할 ...