에이전트 시대의 AI 시스템 설계

485

8

장

제약 조건 해결

작은 모델로도 수행할 수 있는 작업이면

SML

(패턴

25

참고)을 이용해서 효율적으로 다음 토

큰 집합을 생성한다.

프롬프트 압축

은 전처리 과정에서 프롬프트를 더 짧게 만들어서

LLM

의

메모리 사용량을 줄인다.

8.3.1

문제

의료, 금융, 법률 정보처럼 민감하고 규제가 엄격한 데이터를 다루는 비즈니스 애플리케이션이

라면

LLM

을 자체 호스팅하는 것이 유리하다. 기밀 정보나 독점 정보, 사용자 데이터를 자체 서

버에 가둬둘 수 있으므로 제

3

자가 데이터를 공유하거나 유출할 수 없으며, 경쟁사도 사용할지

모를 차기 모델을 훈련하는 데 데이터가 재사용되는 일도 막을 수 있다.

하지만

LLM

을 직접 호스팅하는 데에는 나름의 어려움이 따른다. 이 패턴은 자체 호스팅

LLM

의 인퍼런스 성능을 최적화하기 위한 세 가지 해법을 제시한다. 모델 호스팅의 기초는 이 책

의 범위를 벗어나는 주제이므로, 모델 인퍼런스 서버 운영에 이미 익숙하다고 가정한다. 모델

호스팅이 처음이라면

vLLM

(

https

://

oreil

.

ly

/

32o6e

)이나

SGLang

(

https

://

docs

.

sglang

.

ai

)의 관련 문서를 먼저 살펴보기 바란다.

프로덕션 환경에서

LLM

을 자체 호스팅할 때 인퍼런스 최적화는 매우 중요하다. 특히 챗봇이나

대화형 인터페이스 같은 실시간 애플리케이션에서 더욱 그렇다. 그런 애플리케이션에서는 더

큰

LLM

(매개변수

700

억 개 이상)이 필요한 복잡한 작업을 수행할 때조차도 사용자는 여전히

더 작은 모델이나 챗

GPT