AI 에이전트: 결정판 가이드 (Korean Edition)

제10장. 에이전트 메모리: 지속성이 에이전트를 진화하는 시스템으로 만드는 방법

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 책의 서두에서 여러분은 에이전트가 마법 같은 존재가 아니라, 신중하게 설계된 상태 기계라는 사실을 배웠습니다. 이 사실은 에이전트 기억에 관한 이번 장을 통해 더욱 분명해질 것입니다. 에이전트는 본질적으로 아무것도 기억하지 못하기 때문에, 의도적으로 기억 기능을 추가해야 합니다. 기억은 대화 초반에 여러분의 이름조차 기억하지 못하는 무지한 에이전트와, 여러분의 선호도를 파악하고 이를 바탕으로 행동하는 전략적인 다단계 시스템 사이의 가교 역할을 합니다.

기억 상실증에 걸린 에이전트( )가 기억 없이 어떻게 행동하는지 보여주기 위해 간단한 상호작용으로 ‘기억 상실증에 걸린 에이전트( )’를 시작해 보겠습니다. 저는 LangGraph 에이전트를 생성하고, 제 이름을 알려주며 에이전트 기억에 관한 장을 쓰고 있다고 말한 대화를 시작했습니다. 에이전트의 응답은 다음과 같았습니다:

Hi Nicole. Good luck writing your chapter on memory in AI agents.

그 직후, 저는 What is my name?”라고 물었고, 에이전트는 다음과 같이 대답했습니다:

I don’t know your name from this chat. If you tell me what you’d like me to
call you, I’ll use it.

처음에는 우스워 보일 수도 있지만, 이는 에이전트에게 기억이 얼마나 강력한지 여실히 보여줍니다. 또한 기억의 유형에 따라 에이전트 시스템의 동작 방식도 달라집니다. 기억이란 단순히 에이전트가 파일 시스템을 이용해 정보를 저장하고 검색하는 방식만을 의미하는 것이 아니라, 대화를 넘어 정보를 지속시키고, 사용자 선호도, 지시 사항, 프로젝트 맥락을 학습하거나 잊어버리는 방식을 포함하기 때문입니다. 바로 이것이 에이전트 시스템이 진화할 수 있게 하는 원동력입니다. 기억이 없다면 모든 상호작용은 제로에서 시작됩니다. 기억이 있다면, 시스템은 맥락을 축적하고 시간이 지남에 따라 저장된 정보를 업데이트하며, 기억이 적절히 검증되고 유지될 때 사용자, 워크플로우, 환경에 적응할 수 있습니다.

메모리 포이즌은 단순한 prompt 주입이 아니다

“신뢰할 수 없는 입력에서 신뢰할 수 있는 메모리로”¹ 는 메모리 포이즌링이 왜 별도의 위협 모델을 필요로 하는지 설명합니다. 위험은 에이전트가 악의적인 명령을 한 번 보는 데 그치지 않고, 신뢰할 수 없는 콘텐츠가 메모리에 기록되었다가 나중에 신뢰할 수 있는 컨텍스트로 반환할 수 있다는 점에 있습니다. 이 논문은 메모리 포이즌링 공격을 테스트하기 위한 MPBench( )를 소개하며, 메모리를 적극적으로 기록하고 검색하는 에이전트가 악용되기 더 쉬워질 수 있다는 중요한 패턴을 보여줍니다. 기존의 prompt 주입 방어 기법들도 이 문제를 완전히 ...