283
9
장
검증 및 측정
9.3.5
예기치 않은 입력
현실 세계 환경은 예측하기 어렵습니다. 에이전트는 예상치 못한, 잘못 구성된, 심지어 악의적
인 입력에도 견고하게 작동해야 합니다. 이 영역의 통합 테스트는 학습이나 설계 가정 밖에 있
는 입력을 의도적으로 제공합니다. 예를 들어 예상치 못한 데이터 형식, 사용자 언어의 속어나
오타, 외부 서비스의 부분 실패 등이 있습니다. 목표는 에이전트가 중단되거나 유해한 출력을
만들지 않고 상황에 맞게 정중히 대처하는 것입니다. 필요하면 질문으로 명확히 하거나, 정중
히 거절하거나, 적절히 사례를 전달해야 합니다.
전자상거래 에이전트의 컨텍스트에 예기치 않은 입력에는 잘못된 형식의 주문
ID
가 포함될 수
있습니다 (예: ‘
A89268
’에 오타가 난 깨진 머그 환불 요청 ). 또는 의도가 뒤섞인 모호한 요청이
있을 수 있습니다(예: 배송 완료된 주문에 대해 취소를 요청하는
cancel
_
4
_
refund
). 이때 에
이전트는
issue
_
refund
같은 잘못된 도구 호출을 진행하는 대신 명확화하거나 사례를 전달해
야 합니다. 평가 세트에서 파생한 적대적 변형을 체계적으로 주입해 테스트합니다. 예를 들어
속어 삽입, 사진 업로드의 부분 실패 등을 통해 민감한 주문 정보가 유출되지 않으면서 우아하
게 처리하는지를 확인합니다.
효과적인 통합 테스트는 무작위 ‘퍼징’만이 아니라 과거 사고나 적대적 분석에서 얻은 통찰로
엣지 케이스를 체계적으로 탐색합니다. 안전이 중요한 응용 분야에서는 부하 상황에서도 에이 ...