실무로 통하는 LLM 애플리케이션 설계

315

10

장

LLM과 외부 도구의 인터페이스

이제 에이전트가 숫자 비교를 포함하는 작업을 수행해야 하는 경우, 먼저 프롬프트 저장소에서

이 프롬프트를 검색합니다. 이처럼 프롬프트의 상세한 단계별 지침을 따름으로써 내재된 한계

를 극복할 수 있게 됩니다.

NOTE

_

왜 이 모든 프롬프트를 컨텍스트 윈도에 추가해 검색 과정을 생략하지 않는 걸까요? 첫째, 프롬프트가

너무 많아서 컨텍스트 윈도에 맞지 않을 수 있습니다. 둘째, 토큰 비용이 많이 들기 때문에 현재 작업과 관련이

없는 프롬프트를 포함하는 것은 비효율적입니다. 마지막으로, 언어 모델은 동시에 제한된 수의 지침만 준수할 수

있으므로 필요에 따라 검색하는 것이 더 효율적입니다.

프롬프트에는

1

장에서 소개한 퓨샷 학습으로 알려진 입력-출력 예시가 포함될 수도 있습니다.

에이전트는 작업을 수행하는 데 도움이 되도록 필요에 따라 이를 검색할 수 있습니다. 관련 예

시를 효과적으로 검색하는 방법은

12

장에서 논의할 것입니다.

다음으로 에이전트가 세션 메모리를 사용해 목표를 달성하는 방법을 살펴보겠습니다.

세션 메모리

현재와 과거 세션에 에이전트가 수행한 단계의 로그를 저장하고 싶습니다. 이러한 로그는 자동

화된 검증 프로세스나 인간 검증자의 피드백으로 보강될 수도 있습니다. 그러면 에이전트는 세

션 로그를 검색해 컨텍스트를 ...