러닝 랭체인

342

러닝 랭체인

그림

10-13

쌍 비교 실험 평가 과정

UI

10.3.3

회귀 테스트

기존 소프트웨어 개발 환경에서는 요구 사항에 근거해 테스트를

100

% 통과해야 한다. 테스

트의 검증이 완료되면 안정적인 동작을 보장한다는 의미다. 이에 반해,

AI

모델의 출력 성능

은 모델의

드리프트

drift

(데이터 분포 변화나 모델 업데이트로 인한 성능 저하 )로 크게 달라질

수 있다. 결과적으로,

AI

애플리케이션을 테스트해도 평가 데이터셋에서 만점을 기록하기는

어렵다.

이건 여러 의미로 해석할 수 있다. 우선, 애플리케이션의 성능 저하를 방지하기 위해 장기간

에 걸친 테스트 결과와 성과를 지속적으로 추적해야 한다.

회귀

regression

테스트

1

는 애플리케

이션에 적용된

LLM

의 최신 업데이트 또는 변경 사항이 기준치에 비해

악화하지

regressed

않고

(즉, 성능이 저하되지 않고 ) 유지되도록 보장한다.

1

옮긴이_ 회귀 테스트는 소프트웨어 변경으로 기존 기능이 제대로 작동하지 않는 경우를 방지하기 위한 테스트다.

343

10

장 테스트: 평가, 모니터링, 개선

두 개 이상의 실험 ...