파이토치로 배우는 LLM & AI

347

13

장

서빙을 위해 파이토치 모델 호스팅하기

TorchServe

와 플라스크 외에도

ONNX

와

FastAPI

같은 다른 서빙 도구가 많습니다.

13.4

마치며

지금까지 제품 환경에서 파이토치 모델을 서빙하는 인기 있는 두 가지 방법을 살펴봤습니다.

먼저 파이토치 공식 서빙 솔루션인

TorchServe

를 설명했습니다. 모델 버전 관리,

A

/

B

테스

트, 측정 지표 수집 등과 같은 내장 기능을 제공하는 강력한 프레임워크입니다. 또한 앱의 요구

사항에 따라 조정되는 워커-스레드 구조를 가져 런타임에 확장이 용이하도록 설계되었습니다.

TorchServe

를 사용하려면 설정이 많고, 모델 워커와 프런트엔드 핸들러 같은 구성 요소를 이

해해야 합니다. 하지만 시간을 들여 여러 구성 요소를 이해하고 어떻게 작동하는지 배우는 데

시간을 들일 가치가 있습니다. 이를 위해

1

장에서 만든 선형 모델을 저장하고, 아카이브하고,

핸들러를 만들고, 모델의 상세 설정과 함께 서버를 실행하는 방법을 단계별로 살펴봤습니다.

그다음 매우 빠르고 간단하게 준비해서 실행할 수 있는 대안으로 플라스크 사용법을 알아봤습

니다. 이런 최소주의

minimalist

접근 방식이 소규모 개발이나

POC

서비스에 이상적입니다. 이에

국한되는 것은 아니지만 제품 수준의 규모로 전환하려면 많은 코드를 개발해야 합니다. 물론

이것이 단점만은 아니며 서빙 환경에 대한 세밀한 제어를 가능하게 합니다.

두 방법 모두 머신러닝 서빙 생태계에서 각자의 자리를 가지고 있습니다.

TorchServe ...