핸즈온 LLM

434

3부 언어 모델 훈련 및 미세 튜닝

습니다. 이 투표의 승리 비율을 기반으로 상대적인

LLM

의 수준을 계산합니다. 예를 들어 낮은

순위의

LLM

이 높은 순위의

LLM

을 이긴다면 순위가 크게 바뀝니다. 체스에서는 이를 엘로 평

점 시스템

Elo

rating

system

33

이라고 합니다.

따라서 이 방법은 크라우드소싱 투표를 사용하는데 이 투표는

LLM

의 품질을 이해하는 데 도움

이 됩니다. 하지만 다양한 사용자의 의견을 집계한 것이므로 여러분의 사용 사례와 관련이 없

을 수 있습니다.

결론적으로

LLM

을 평가하는 하나의 완벽한 방법이란 존재하지 않습니다. 언급한 모든 방법과

벤치마크가 제한적이지만 중요한 평가 관점을 제공합니다. 여러분이 의도한 사용 사례를 기반

으로

LLM

을 평가하는 것이 좋습니다. 코딩의 경우

GSM8k

보다

HumanEval

을 사용하는 것

이 더 합리적입니다.

하지만 무엇보다 중요한 것은 여러분이 최상의 평가자라는 점입니다.

LLM

이 여러분의 사용 사

례에 잘 맞는지 결정하는 것은 여러분 자신이기 때문에 사람 평가가 가장 신뢰할 수 있는 방법

입니다. 이 장에서 소개된 예제에서처럼 직접 모델을 테스트하고 질문을 던져 보세요. 이 책의

저자들은 아랍어 (제이)와 네덜란드어 (마르턴)를 사용하는데 새로운 모델을 만날 때마다 모국

어로 질문을 던지곤 ...