그림으로 배우는 생성형 AI

2535

장 생성형 AI 애플리케이션의 아키텍처

Chapter 5

생성형 AI 애플리케이션의

아키텍처

4

장에서 에이전트형 시스템을 구축하는 방법을 살펴볼 때는 모든 에이전트가 어떤 형태로든

LLM

을 호출한다

고 가정했습니다

.

그런데 에이전트들이 매번

LLM

을 호출하면 비용이 너무 많이 들고 속도도 너무 느립니다

.

그

런 아키텍처를 사용하면

‘

엔지니어링이 부족한

underengineered

’

애플리케이션이 만들어지기 쉽지요

.

이번 장에서는

LLM

을 특정 사례에 활용할 때 수반되는 엔지니어링 복잡성

,

비용

,

지연시간

,

그리고 위험 요소들의 균형을 잡

는 방법을 살펴봅니다

.

5.1 기초 모델 선택

생성형

AI

애플리케이션을 만들 때 가장 먼저 부딪히는 선택 중 하나는 바로 어떤

LLM

을 기초 모델

foundational

model

로 사용할 것인가입니다

.

[

그림

5

-

2

]

에 이 선택을 돕는 의사결정 트리가 나와 있습니다

.

랭체인

LangChain

같은 프레임워크를 이용하면 특정

LLM

에 종속되지 않는

‘

LLM

비종속적

LLM

-

agnostic

’

코드를 작성하

는 게 가능하긴 하지만

,

그것이 능사는 아닙니다

(

그림

5

-

3

).

LLM

을 바꾸면 코드 자체는 작동한다고 해도 결과

물이 달라집니다

.

예전과 같은 결과물을 얻으려면 애플리케이션 파이프라인의 각 단계에 쓰이는 프롬프트와 ...