실무로 통하는 LLM 애플리케이션 설계

403

13

장

디자인 패턴과 시스템 아키텍처

CHAPTER

13

디자인 패턴과 시스템 아키텍처

이 책 전반에 걸쳐 인컨텍스트 학습, 파인 튜닝,

RAG

, 도구 사용 등

LLM

을 다양한 작업에 적

응시키는 기법들을 탐구했습니다. 이러한 기법은 사용 사례의 성능 요구 사항을 만족시킬 잠재

력이 있지만,

LLM

기반 애플리케이션을 프로덕션에 배포하려면 비용, 지연 시간, 신뢰성과 같

은 여러 기준을 충족해야 합니다. 이러한 목표를 달성하려면

LLM

애플리케이션에 많은 소프트

웨어 스캐폴딩과 전문 컴포넌트가 필요합니다.

이에 따라 이번 장에서는 유용한 애플리케이션을 구동할 수 있는 프로덕션 수준의

LLM

시스템

을 구성하는 다양한 기법을 논의할 것입니다. 다중

LLM

아키텍처

multi

-

LLM

architecture

를 활용해 비

용과 성능의 균형을 맞추는 방법을 탐구하겠습니다. 마지막으로

LLM

애플리케이션 개발을 기

존 소프트웨어 프로그래밍 패러다임에 통합하는

DSPy

와 같은 소프트웨어 프레임워크를 살펴

보겠습니다.

LLM

기반 애플리케이션을 단순히 하나의

LLM

컴포넌트로만 다루는 것은 프로덕션 수준의 시

스템을 구축하려는 경우에는 적절하지 않습니다.

LLM

을 구성하는 여러 소프트웨어와 모델 컴

포넌트를 함께 고려해 전체 시스템으로서 접근해야 하며, 이러한 구성은 신뢰성 있고, ...