AI 에이전트: 결정판 가이드 (Korean Edition)

제6장. 안전한 실행 및 도구 거버넌스

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

제5장에서는 에이전트의 예측 가능성과 관리성을 높이는 방법을 배웠습니다. 하지만 시스템 접근이나 코드 실행이 수반될 경우, 예측 가능성만으로는 실행 단계에서 자동으로 안전성이 보장되지는 않습니다. 샌드박스, 실행 경계, 또는 관리된 도구 사용 없이 실제 환경에서 도구를 실행하거나 파일에 접근할 수 있는 에이전트를 실행하는 것은 프리 솔로 등반과 같습니다. 이는 매우 위험합니다. 다만 에이전트의 경우, 그 파장이 단일 행위자에 그치는 경우는 거의 없습니다. 파장은 시스템 전체로 확산될 수 있습니다.

한 번의 실수, 예상치 못한 도구 호출, 또는 눈에 띄지 않는 권한 유출 하나만으로도 원래의 경계를 훨씬 넘어 확산될 수 있습니다. 에이전트 기반 시스템에서 실패는 극적인 형태로 나타나는 경우가 드뭅니다. 대부분은 조용히 발생합니다. 파일이 덮어쓰여지거나, 자격 증명이 재사용되거나, 의도된 범위를 약간 벗어난 곳에서 도구가 호출되는 식입니다. 무언가 이상해 보일 때쯤이면, 이미 영향 범위가 상당히 커져 있을 수 있습니다. 에이전트를 잠들지 않는 유능한 신입 엔지니어라고 생각해 보십시오. 이 장에서는 에이전트를 정확히 그런 방식으로, 즉 유능하지만 감독과 명확한 운영 경계가 필요한 존재로 다루는 방법을 배웁니다.

위험을 억제하려면 방어를 염두에 둔 아키텍처를 설계해야 합니다. 하지만 이 장에서는 외부 위협을 다루지 않으며, prompt 주입이나 악의적인 사용자로부터 에이전트를 보호하는 방법도 다루지 않습니다. 대신, 잠재적으로 한 불량 에이전트를 어떻게 통제할 수 있는지 배울 것입니다. 여기서 ‘불량’이란 인간이 반항하는 방식과는 다릅니다. 즉, 즉흥적으로 행동하거나, 권한을 남용하거나, 단순히 에이전트가 멈춰야 할 선을 한 걸음 넘어서 ‘도움’을 주려는 경우를 말합니다.

불량 에이전트란 공식적인 권한 범위 내에는 머물러 있으면서도 의도된 역할에서 벗어나는 에이전트를 말합니다. 예상치 못한 방식으로 도구를 연쇄적으로 사용하거나, 기능을 점진적으로 확대하며, 자제보다는 작업 완수를 최우선으로 삼습니다. 이 반항적인 에이전트를 회사 내의 기업 스파이로 상상해 볼 수 있습니다. 예의 바르고, 생산적이며, 항상 도움이 됩니다. 기술적으로 금지된 행동을 결코 하지 않기 때문에 경보가 울리는 일은 절대 없습니다. 그들은 “단지” 복사하고, 전달하고, 동기화하고, 정리할 뿐입니다. 이것이 바로에이전트 기반 시스템에서 나타나는 반항적인 도구 사용의 모습입니다.

따라서 이 맥락에서 거버넌스 는 ‘억제’에 관한 것입니다. “인간 개입 워크플로우 설계”에서 인간 개입 제어(human-in-the-loop controls )를 통해 도구 호출이나 행동을 거부하는 방법은 이미 알고 계실 것입니다 . 하지만 그것만으로는 확장성이 부족할 뿐만 아니라, 실제로 에이전트가 갖기를 바라는 자율성에 대한 환상을 ...