AI 에이전트: 결정판 가이드 (Korean Edition)

제12장. AI 에이전트를 위한위협 모델링

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

에서 AI 에이전트를 배포할 때는 사고하고, 행동하며, 상태를 유지하는 시스템을 위해 계층적이고 자산 중심의 위협 모델을 구축해야 합니다. 일반적인 정보 보안 표준을 통해 이미 기본 사항을 알고 계실 수도 있습니다. 그러나 기존 시스템은 결정을 내리지 못하지만, 에이전트는 결정을 내립니다. 바로 이 때문에 기존의 위협 모델링을 비결정적이고 에이전트 중심의 시스템으로 확장해야 합니다. 에이전트 보안은 종종 prompt 주입이나 도구 오용과 같은 고립된 취약점들의 집합으로 접근되곤 합니다. 그러나 에이전트 기반 시스템에서 위험은 단일 구성 요소에만 국한되는 경우가 거의 없습니다. 모델 계층에서 발생한 오류는 오케스트레이션 전반으로 전파되어 의도하지 않은 도구 실행을 유발하고, 메모리에 잔류하여 향후 의사 결정에 영향을 미칠 수 있습니다. 이러한 시스템을 분석하기 위해서는 자산, 시스템 계층, 위협 전파 경로를 매핑하는 계층적 위협 모델인 ‘시스템 보안 아키텍처( )’를 활용하는 것이 도움이 됩니다. 이를 통해 보안을 단순한 체크리스트가 아닌, 제약 조건 하의 시스템 설계 문제로 다룰 수 있습니다.

이러한 이해를 구축하기 위해, 기존 보안 사고방식을 일대일로 적용하지는 않더라도 그로부터 영감을 얻을 수 있습니다. 전통적인 접근 방식은 자산을 식별하고, 보호 수준을 분류하며, 시스템 계층 전반에 걸쳐 위협을 체계적으로 분석하는 데 중점을 둡니다. 현대적인 애플리케이션 보안 프레임워크는 인젝션, 데이터 유출, 실행 인터페이스의 오용과 같은 구체적인 공격 패턴을 추가합니다. 또한 레드팀 활동은 이러한 위험이 시스템에서 실제로 악용될 수 있는지 검증하는 방법을 제공합니다. 이러한 관점들은 각각 개별적으로도 유용하지만, 서로를 보완하도록 결합할 때 그 진가를 발휘합니다. 이를 위해서는 무엇이 중요한지 식별할 수 있는 체계적인 방법, 시스템이 어떻게 공격받을 수 있는지에 대한 이해, 그리고 현실적인 조건에서 가정이 타당한지 테스트할 수 있는 방법이 필요합니다.

이 장은 여러분이 그러한 멘탈 모델을 구축하는 데 도움을 줍니다. 이 장은 개발 과정에서 더 정보에 입각한 결정을 내릴 수 있도록, 근본적인 위험 환경에 대해 논리적으로 사고할 수 있도록 돕는 데 중점을 둡니다. 이는 “도구 거버넌스: 시스템 prompt는 격리 수단이 아니다”에서 통제가 지침에만 의존해서는 안 된다는 점을 탐구했던 것, “조기 위협 테스트: 개발 단계에서의 에이전트 강화”에서 행동을 조기에 검증하는 것이 유익할 수 있음을 확인했던 것, 그리고 “메모리 위생: 에이전트 메모리를 관련성 있고 스마트하게유지하기”에서 지속성이 위험 표면의 일부가 된다는 점을 배웠던 것과 같은 이전 개념들과 연결됩니다.

보안을 별개의 단계로 취급하는 대신, 이 장의 목표는 개발 초기 단계에서 시스템 설계를 구상하는 과정에 보안을 ...