파이토치로 배우는 LLM & AI

330

2

부

모델 사용

그다음으로 유연성이 더 많이 필요하거나 서빙 요구 사항이 더 적은 개발자를 위해 인기 있는

플라스크

Flask

프레임워크로 서빙 솔루션을 만드는 방법을 알아보겠습니다. 플라스크의 단순성

과 광범위한 생태계 덕분에 소규모 배포와

POC

proof

-

of

-

concept

서비스에 적합합니다.

이 장에서는 이전 장에서 만든 모델을 사용해 배포하는 방법을 알아보고, 추론을 위해 호스팅

서버를 호출하는 방법을 실습해 봅니다.

13.1

TorchServe

소개

TorchServe

1

는 성능과 유연성을 고려해 설계된 파이토치의 기본 서빙 프레임워크입니다.

TorchServe

의 초기 목표는 모듈식 확장 구조로 모델을 서빙하는 방법을 보여 주는 참조 구현

이었지만, 이후 발전을 거쳐 대부분의 서빙 요구 사항을 충족할 수 있을 만큼 성능이 뛰어난 전

문 수준의 프레임워크가 되었습니다.

또한 대규모 모델 서빙의 복잡성을 처리하기 위해 모듈식 아키텍처로 설계되어 있으며, 이를

위해 다음과 같은 핵심 요소로 이루어져 있습니다.

모델 서버

파이토치 모델 서버는 모델의 라이프사이클을 다루고 모든 추론 요청을 처리하는 핵심 요소입니다. 모델 관

리와 추론을 위한 엔드포인트

endpoint

를 제공하며

REST

와

gRPC

를 지원합니다.

모델 워커

모델을 로드하고 추론을 수행하는 독립적인 ...