에이전트 시대의 AI 시스템 설계

421

7

장

에이전트의 행동 능력 활성화

이중

LLM

이중

LLM

Dual

-

LLM

가드레일은 주어진 작업을 믿을 수 있는

LLM

과 믿을 수 없는

LLM

에 나누어 맡긴다. 전자는

행동을 계획하고 도구를 사용할 권한을 가진

LLM

이고 후자는 도구 접근 권한 없이 신뢰할 수 없는 데이터를 처

리하는, ‘모래상자’ 안의

LLM

이다.

코딩 후 실행

코딩 후 실행

Code

-

Then

-

Execute

가드레일은

LLM

이 컴퓨터 프로그램 코드를 작성해서 문제의 답을 생성하게 한다.

해당 프로그램은 도구를 호출할 수 있으며, 신뢰할 수 없는 텍스트를 처리하기 위해 권한 없는

LLM

을 생성할 수

도 있다. 이 프로그램은 신뢰할 수 없는 데이터를 입력받아 실행되는데, 데이터 자체가 악의적이더라도 정해진

제어 흐름을 그대로 유지함으로써 애플리케이션을 보호한다. §

7

.

2

“패턴

22

: 코드 실행”에서 좀 더 자세히 논의

할 것이다.

컨텍스트 최소화

컨텍스트 최소화

Context

-

Minimization

가드레일은

LLM

의 컨텍스트에서 불필요한 콘텐츠를 제거한다. 특히, 파이프라

인의 후속 단계들에서 이 가드레일은

LLM

의 컨텍스트에서 사용자의 원래 프롬프트를 제거한다.

최신

LLM

은 웹 검색이나 코드 실행 같은 도구를 통합할 때, 프롬프트 주입을 방어하고자 앞서

설명한 패턴을 하나 이상 활용하기 시작했다. 하지만 도구 호출 기능을 사용하는

LLM

을 프롬

프트 주입 공격에서 보호하는 것은 여전히 해결해야 할 과제이다 (

https

://

oreil

.

ly

/

3P

-

ak

에 나온

Freysa ...