AI 에이전트 엔지니어링

381

13

장

인간과 에이전트의 협업

또한 로그는 안전하게 보호되고 책임감 있게 관리되어야 합니다. 민감한 사용자 데이터를 포함

한 로그에 무단으로 접근하면 프라이버시 위험이 발생합니다. 암호화, 접근 제어, 데이터 익명

화는 오남용과 유출을 막기 위한 필수적인 안전장치입니다.

로깅 시스템은 명료성과 사용성도 고려해 설계해야 합니다. 로그가 존재하는 것만으로는 충분

하지 않습니다. 개발자, 감사자, 이해관계자가 해석할 수 있어야 합니다. 명확한 문서와 시각화

도구는 추적성에서 나온 인사이트를 실제로 활용 가능한 형태로 만드는 데 도움이 됩니다.

13.3.3

대응 절차 설계와 감독

책임성은 로그와 감사에서 끝나지 않습니다. 에이전트가 불확실성, 모호성, 윤리적 위험에 직

면했을 때 작동하는 명확한 대응 절차 메커니즘과 인간 감독 구조로 뒷받침되어야 합니다. 에

이전트가 점점 더 높은 자율성을 갖게 될수록 조직은 중요한 질문에 답해야 합니다. 언제, 그리

고 어떻게 사람이 개입해야 하는가?

대응 절차 설계는 특히 고위험이나 모호한 상황에서 에이전트가 권한을 넘어 행동하지 못하도

록 보장하는 정책 및 인프라 레이어입니다. 잘 설계된 대응 절차 프레임워크는 인간 개입이 필

요한 명확한 임계값을 정의합니다. 특정 의사결정 유형, 위험 수준, 신뢰도 범위 등입니다. 예

를 들어 고객 지원 에이전트는 일상 문의는 자율적으로 처리하되 청구 분쟁은 사람 관리자에게

넘기고, 잠재적인 악용 사례는 신뢰성 및 안전 담당자에게 플래그하도록 설계할 수 있습니다.

마찬가지로 ...