AI 에이전트 엔지니어링

302

3

부

신뢰할 수 있는 에이전트 운영과 거버넌스

루시네이션 점수가 높으면 고지문을 제시하거나 사람 상담원으로 사례를 전달할 수 있습니다.

이러한 자가 치유 작동 방식은 상세한 모니터링 데이터로 뒷받침될 때 가장 효과적입니다. 각

폴백 결정은 로그와 트레이스로 기록해 언제, 왜 폴백이 트리거되었는지 문제 해결에 도움이

되었는지 분석할 수 있습니다.

10.7

사용자 피드백

이 장의 대부분은 로그, 트레이스, 지표에 초점을 맞췄지만 사용자 피드백은 보완적 관점, 즉

에이전트가 인간의 기대를 얼마나 충족하는지에 대한 직접 인사이트를 제공합니다. 피드백은

암시적일 수 있습니다. 사용자가 입력을 바꾸어 말하거나 작업을 포기하거나 상호작용 중 머뭇

거리는 경우입니다. 또한 명시적일 수도 있습니다. 엄지 내림 아이콘, 별점, 자유 텍스트 코멘

트 같은 방식입니다. 두 형태 모두 실시간 시그널을 제공하며 모니터링 스택에 통합해야 합니

다.

실무에서는 작업 포기율, 재질의

requery

빈도 같은 암시적 피드백 지표를 로키에 로깅, 집계하고

다른 성능 지표와 동일하게 그라파나에서 시각화할 수 있습니다. 이는 마찰이나 혼란의 조기

지표가 됩니다. 낮은 평점 같은 명시적 피드백 이벤트는 템포의 특정 트레이스와 연결하고 불

만이 급증할 때 알림을 트리거하도록 구성할 수 있습니다. 사용자 감성 지표와 트레이스 기반

기술 데이터를 결합한 대시보드는 성능 이슈와 사용자 좌절을 상관시켜 에이전트 건전성에 대

한 더 완전한 그림을 제공합니다.

무엇보다 사용자 피드백은 ...