잘되는 머신러닝 팀엔 이유가 있다

243

Chapter 6

자동 테스트: ML 모델 테스트

등 문제적이고 예상치 못한 방식으로 실패하기도 합니다.

어떤 사람들은

LLM

애플리케이션을 테스트하는 것이 가치가 있는지 묻습니다.

LLM

애플리

케이션도 다른 소프트웨어 애플리케이션처럼 여러 가지 변화 요인

( 프롬프트와 흐름의 변

경, 업스트림

LLM

의 변경, 우리가 의존하는 라이브러리의 변경 )

으로 성능이 저하될 수 있습니

다. [그림

6

-

3

]은 사용하는 기본

LLM

모델이 업데이트되었을 때, 누구의 잘못도 아닌 상황

임에도 애플리케이션의 성능이 저하될 수 있다는 예시입니다.

그림

6-3

업스트림

LLM

의 의존성으로 발생하는 실패와 예기치 못한 동작 변경의 예

릴리스 후에 수많은 경고가 발생하는 상황을 상상할 수 있나요?

LLM

애플리케이션도 다른

소프트웨어 애플리케이션처럼 품질과 전달 속도를 보장하려면 테스트를 해야 합니다. 프롬

프트를 설계하거나

17

LLM

을 미세 조정하는 데 며칠 또는 몇 주를 보낼 계획이 아니라면 성능

개선을 측정하고 품질 저하를 감지할 수 있는 방법이 필요합니다.

17

https

://

oreil

.

ly

/

BCp0m

244

Part 2

엔지니어링

동시에 기사 요약처럼 여러 가지 정답이 있을 수 있는 ‘개방형 작업’ 시나리오나 ‘떠도는 마법

사에 대한 이야기쓰기’처럼 정답이 전혀 없는 ...