핸즈온 머신러닝(2판): 사이킷런, 케라스, 텐서플로 2를 활용한 머신러닝, 딥러닝 완벽 실무

878

3

부

부록

다.

TF

서빙을 배포하기 위해 소스에서 설치할 수 있지만 도커 이미지를 사용하여 설치하

는 것이 훨씬 간단합니다.

TF

서빙 도커 이미지의 클러스터를 배포하려면 쿠버네티스 같

은 관리 도구를 사용하거나 구글 클라우드

AI

플랫폼과 같이 완전한 호스팅 서비스를 사용

할 수 있습니다.

3

. 여러

TF

서빙 인스턴스에 모델을 배포하기 위해 해야 할 일은 이런

TF

서빙 인스턴스가

같은

models

디렉터리를 모니터링하도록 설정하는 것이 전부입니다.

4

.

gRPC

API

가

REST

API

보다 더 효율적입니다. 하지만 클라이언트 라이브러리가 많지 않

습니다.

REST

API

를 사용할 때 압축을 활성화하면 거의 동일한 성능을 얻을 수 있습니다.

따라서

gRPC

API

는 최대로 높은 성능이 필요하고 클라이언트가

REST

API

에 국한되지

않을 때 사용합니다.

5

. 모바일이나 임베디드 장치에서 실행되도록 모델 크기를 줄이기 위해

TFLite

는 다음과 같

은 몇 가지 방법을 사용합니다.

• SavedModel

을 최적화할 수 있는 컨버터를 제공합니다. 모델 크기를 줄여 응답 속도가 빨라집니다. 이

렇게 하기 위해 예측을 만들 때 필요하지 않는 연산 (예를 들면 훈련 연산 )을 모두 제거합니다. 그리고

가능하면 연산을 최적화하고 하나로 합칩니다.

•

이 컨버터는 훈련이 끝난 후 압축을 수행할 수도 있습니다. 이 기법은 모델의 크기를 많이 줄여주기 때

문에 다운로드와 저장할 때 속도가 매우 빨라집니다.

•

파싱 없이

RAM

으로 바로 ...