실무로 통하는 LLM 애플리케이션 설계

392

3

부

LLM 애플리케이션 활용 패러다임

12.5

메모리 관리를 위한

RAG

RAG

의 과소평가된 활용 사례로는

LLM

의 컨텍스트 윈도를 확장하는 것이 있습니다. 요약하자

면,

LLM

프롬프트는 일반적으로 다음과 같은 (선택적 ) 내용을 포함합니다.

●

사전 프롬프트 및 시스템 프롬프트 : 이는

LLM

에 제공하는 전반적인 지침으로, 모든 사용자 질의의 앞부분에

포함됩니다. 커스터마이징 수준에 따라 시스템 프롬프트는 컨텍스트 윈도의 상당 부분을 차지할 수 있습니다.

●

입력 프롬프트 : 입력 프롬프트에는 현재 입력된 질문이나 요청, 선택적으로 포함된 퓨샷 학습 예제, 검색으로

불러온 추가 배경 정보가 포함될 수 있습니다.

●

대화 히스토리 : 사용자와

LLM

간의 대화/상호작용 내용을 기록합니다. 이를 컨텍스트 윈도에 포함하면 사용

자가

LLM

과 길고 일관된 대화를 나눌 수 있습니다.

●

스크래치패드

scratchpad

: 스크래치패드는

LLM

이 생성한 중간 결과를 담으며,

8

장에서 설명한 대로 이후 출력

생성 과정에서 이를 참조할 수 있습니다. 스크래치패드는 주로

CoT

와 같은 특정 프롬프트 기법의 일부로 활

용됩니다.

하지만

LLM

의 컨텍스트 윈도 크기는 이러한 모든 정보를 담기에는 제한적일 때가 많습니다.

게다가 사용자와의 대화 기록을 시간이 지나도 계속 ...