에이전트 시대의 AI 시스템 설계

451

8

장

제약 조건 해결

제약 조건 해결

CHAPTER

8

LLM

을 프로덕션 환경에 배포하려면 여러 가지 어려움이 따른다. 그저 모델이 작동하게 만드는

것으로는 부족하다.

LLM

의 능력이 놀랍긴 하지만 컴퓨팅 자원을 엄청나게 요구하며 애플리케

이션의 지연시간

latency

을 늘린다. 또한, 규모가 커지면 비용이 급격히 증가할 수 있다. 쿼리 하

나에는 잘 작동하는 개념 증명 (

PoC

)과 수천 명의 사용자에게 서비스를 제공하는 프로덕션 시

스템의 격차를 간과해서는 안 된다.

이번 장에서는 프로덕션 시스템에

LLM

을 배포할 때 직면할 가능성이 높은 문제들을 해결하는

패턴들을 제공한다. 하드웨어의 한계, 예산 제약, 엄격한 지연시간 요구사항 같은 어려운 상황

에서, 이번 장의 패턴들은

LLM

배포를 최적화하기 위한 검증된 전략을 제공할 것이다.

이번 장에는 총 다섯 가지 패턴이 나온다. 이들은 프로덕션 제약 조건의 다양한 측면을 다룬다.

소규모 언어 모델

(패턴

24

)은 모델 증류 및 양자화 기법을 통해 계산 추가 부담을 줄인다.

프롬

프트 캐싱

(패턴

25

)은 중복 처리를 제거해서 비용과 지연시간을 모두 줄인다.

인퍼런스 최적화

(패턴

26

)는 연속 배칭과 추측 디코딩 같은 고급 기법을 이용해서 하드웨어 활용률을 극대화

한다.

성능 저하 테스트

(패턴

27

)는

LLM