파이토치로 배우는 LLM & AI

344

2

부

모델 사용

이 저장소에서 더 많은 유용한 예제를 볼 수 있지만, 이 장에서 본 것과 같은 최소한의 예제를

먼저 실행해 보기를 권장합니다. 수많은 단계와 개념이 있으므로 복잡한 미로에서 길을 잃기

쉽기 때문입니다.

13.3

플라스크로 서빙하기

TorchServe

가 매우 강력하지만 대안으로 플라스크를 매우 쉽게 사용할 수 있습니다. 플라스

크는 파이썬을 위한 유연한 경량 웹 프레임워크이며 웹 애플리케이션과

API

개발을 효율적으

로 수행할 수 있습니다.

플라스크에서는 몇 줄의 코드로 시작해 최소한의 단일 엔드포인트 서비스에서부터 복잡한 웹

애플리케이션까지 모든 것을 만들 수 있습니다. 이번 절에서 살펴보겠지만, 추론을 위해 모델

을 호스팅할 수 있으므로 완벽하게 파이토치를 보완합니다.

마이크로프레임워크

microframework

인 플라스크는 웹 개발을 위한 핵심 구성 요소인 라우팅

routing

,

요청 처리

request

handling

, 템플릿

template

기능을 제공합니다. 필요에 따라 추가 기능을 선택할 수 있

습니다. 백엔드 데이터베이스, 인증 등과 같이 즉시 사용할 수 있는 확장을 제공하는 생태계도

활발하므로 확장성이 매우 높습니다. 이런 이유로 플라스크는 웹 개발의 표준 도구가 되었으며

다양한 규모와 분야에 걸쳐 애플리케이션을 구동시키고 있습니다.

이 절에서는 모델 호스팅 관점에서 플라스크를 살펴봅니다. 하지만 파이토치뿐만 아니라 파이

썬 코드를 서빙하는 데 관심이 있다면 이 프레임워크를 자세히 살펴보길 권합니다.

TorchServe ...