실무로 통하는 LLM 애플리케이션 설계

404

3

부

LLM 애플리케이션 활용 패러다임

13.1

다중

LLM

아키텍처

이 책 전반에 걸쳐, 특정 작업에 적합한

LLM

을 선택할 때의 다양한 트레이드오프를 살펴봤습

니다. 원하는 결과를 얻으려면 여러 개의

LLM

을 함께 활용하는 것이 더 효과적일 때가 많습니

다. 다중

LLM

아키텍처는 일반적으로 다음 두 가지 방식 (또는 그 조합 )으로 구성됩니다.

각

LLM

이 서로 다른 하위 작업에 특화

된

경우

문제를 세분화한 각 하위 작업은 서로 다른 수준의 모델 역량을 요구할 수 있습니다. 비용과 지연 시간을 최

소화하려면 각 작업에 필요한 성능 기준을 충족하는 가장 작은 규모의

LLM

을 사용하는 것이 바람직합니다.

모든

LLM

이 동일한 작업을 수행하는 경우

모든

LLM

이 동일한 작업을 처리하지만, 입력마다 하나(또는 일부)

LLM

만 선택되어 실행됩니다.

TIP

하나의 작업을 여러

LLM

앙상블이 함께 처리하고, 최종 결과는 다수결 투표나 보간과 같은 규칙에 따라 선택

할 수 있습니다. 장 연구진

1

이 제안한

LLM

-

Blender

는 이러한 앙상블 전략을 잘 보여주는 사례입니다.

연습 문제 ●●●

이 책의 깃허브 저장소

2

에서 법률 에이전트의 기본 구현을 찾을 수 있습니다. 이 에이전트는 웹

에서 정보를 검색하고 법정 사건에 관한 사용자 질문에 답변하도록 설계되었습니다. 또한 ...