300
3
부
신뢰할 수 있는 에이전트 운영과 거버넌스
선하는 공유된 작업 공간이 됩니다. 버그가 확률적이고 실패 양상이 창발적으로 나타나는 에이
전트 기반 시스템 세계에서 이러한 통합 가시성은 있으면 좋은 수준이 아니라 필수입니다.
10.6
모니터링 패턴
관측 가능성 스택이 갖춰졌다면 (계측, 로그, 트레이스, 대시보드, 알림 ), 다음 질문은 이것입
니다. 확률적이고 적응적이며 완전히 예측하기 어려운 에이전틱 시스템에 어떻게 안전하게 변
경을 배포할 것인가? 해답은 실험의 리스크를 줄이고 프로덕션 변경에 안전망을 두는 ‘모니터
링을 고려한 개발 패턴’을 채택하는 데 있습니다. 이 절에서는 에이전트가 안전하고 민첩하게
진화하도록 돕는 핵심 패턴을 살펴봅니다.
10.6.1
섀도 모드
섀도 모드
Shadow
Mode
에서는 새롭거나 실험적인 에이전트 버전을 현재 프로덕션 에이전트와 나
란히 실행합니다. 동일한 입력을 처리하지만 출력은 사용자에게 제공하지 않습니다. 이렇게 하
면 실제 환경에서 새 에이전트의 작동 과정을 로그와 트레이스로 관찰하되 사용자 경험에는 영
향이 없습니다.
오픈텔레메트리로 프로덕션 에이전트와 섀도 에이전트를 모두 계측하고 공유 요청
ID
를 부착
할 수 있습니다. 섀도 에이전트의 로그와 트레이스는 로키와 템포에서 라벨링해 행동을 쉽게
비교할 수 있습니다. 도구 선택, 지연시간, 토큰 사용량, 할루시네이션 빈도 차이를 살펴볼 수
있습니다. 새 모델 버전, 계획 전략, 프롬프트 기법을 시험할 때 특히 유용합니다.
섀도 모드는 더 안전한 ...