『AI 에이전트 일러스트레이티드 가이드』 (Korean Edition)

제7장. 에이전트평가

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이전 장들에서는 에이전트의 구성 요소들을 하나씩 다뤘습니다. 즉, 에이전트가 어떻게 추론하는지, 도구를 어떻게 사용하는지, 기억을 어떻게 저장하고 검색하는지, 그리고 여러 단계를 아우르는 계획을 어떻게 세우는지에 대해 살펴보았습니다. 이제 여러분은 이러한 요소들이 어떻게 결합되어 우리가 AI 에이전트라고 부르는 시스템을 형성하는지에 대한 멘탈 모델을 갖게 되었을 것입니다. 자연스럽게 이어지는 다음 질문은, 이 모든 것이 제대로 작동하고 있는지 어떻게 알 수 있느냐는 것입니다.

그것이 바로 그림 7-1에서 볼 수 있듯이, 이 장에서 다룰 주제입니다. 평가는 “작동하는 것 같다”는 수준에서 “작동한다는 증거가 있다”는 단계로 나아가는 방법입니다. 또한 에이전트가 더 이상 작동하지 않는 순간을 포착하는 방법이기도 합니다. 평가는 에이전트 개발 분야에서 가장 투자 부족이 심한 영역 중 하나입니다. 팀들은 종종 필요한 기간보다 더 오랫동안 수동 테스트와 직관에 의존하다가, 결국 개선 사항을 자신 있게 출시하지 못하거나 회귀 현상이 발생했을 때 이를 진단하지 못하는 상황에 처하게 됩니다.

먼저 모델 발표나 연구 논문에서 가장 자주 접하게 되는 벤치마크부터 살펴보겠습니다. 그 다음에는 독자적인 평가 체계를 설계하는 데 필요한 도구와 개념을 단계적으로 다룰 것입니다. 이 장을 마치면 에이전트가 어떻게 측정되는지, 그리고 그 측정 결과가 실제로 무엇을 의미하는지에 대해 명확한 이해를 얻게 될 것입니다.

그림 7-1. 이 장에서는 LLMs과 에이전트의 평가 방법을 다루며, 출력물 평가에서 에이전트의 중간 단계(경로) 평가로 전환하는 방법을 탐구한다.

공개 벤치마크 및 리더보드

(ASB) 벤치마크는 고정된 과제 집합과 이를 채점하는 방법을 결합한 것으로, 서로 다른 모델을 동일한 기준으로 측정하고 직접 비교할 수 있게 해줍니다. 그림 7-2의 행 중 하나인 SWE-bench Verified를 예로 들어 보겠습니다. 이는 오픈소스 프로젝트의 실제 GitHub 이슈 모음입니다. 점수를 얻기 위해서는 모델(또는 이를 기반으로 구축된 에이전트)이 이슈의 설명을 읽고, 코드 저장소를 탐색한 후, 프로젝트의 기존 테스트(테스트는 존재하지만 모델에게는 숨겨져 있음)를 통과하게 하는 패치를 생성해야 합니다. 점수는 단순히 에이전트가 해결한 이슈의 비율로 산정됩니다.

대부분의 벤치마크는 동일한 구조를 따릅니다. 즉, 문제 데이터셋, 문제를 해결하는 절차, 그리고 성능을 표에 바로 넣을 수 있는 단일 수치로 요약하는 평가 지표가 있습니다.

이 수치들이 바로 대다수의 사람들이 접하는 점수입니다. AI 연구소는 모델 발표 시 이를 공개하고, ...