대규모 언어 모델: 어려운 부분 (Korean Edition)

제2장. 평가 격차

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이론이 아무리 훌륭하더라도, 당신이 얼마나 똑똑하든 상관없습니다. 실험 결과와 일치하지 않는다면, 그것은 틀린 것이다.

리처드 파인만

LLMs(대규모 언어 모델)의 등장과 그에 따른 LLMBA(대규모 언어 모델 기반 애플리케이션)의 급속한 확산은 소프트웨어 개발, 테스트 및 검증 분야의 판도를 근본적으로 바꾸는 전환점을 마련했습니다. 결정론적 출력이 표준인 기존 소프트웨어 시스템과 달리, LLMs과 LLMBA는 비결정론적이고 생성적인 행동의 영역인 '생성적 영역( )'을 도입함으로써, 평가에 대한 기존의 소프트웨어 엔지니어링 패러다임에 도전장을 내밀고 있습니다. 

이러한 변화는 단순한 기술적 진화가 아니라, 비즈니스 애플리케이션을 구상하고 구축하며 평가하는 방식에 있어 근본적인 변혁입니다. 따라서 LLMs과 LLMBA의 확률적 특성을 고려하지 못하는 기존 테스트 프레임워크에 계속 얽매여 있다면, 필연적으로 중대한 위험에 직면하게 될 것입니다.

이 장에서는 전통적인 소프트웨어 테스트 접근 방식과 LLMs 및 LLMBA의 고유한 요구 사항 사이의 “평가 격차”를 해소하기 위한 기법을 탐구하며, 다음과 같은 순서로 진행된다.

먼저, LLMs의 비결정적 특성, 이것이 LLMBA에 어떻게 반영되는지, 그리고 이를 어떻게 관찰할 수 있는지에 대해 논의합니다. 이어서 LLMBA를 위한 자체 평가 프레임워크를 구축하는 방법에 대해 심도 있게 다룹니다. 이는 프레임워크를 신중하게 설계하는 것에서 시작하여 두 가지 옵션으로 이어집니다. 첫 번째 옵션은 LLMBA를 평가하기 위해 객관적인 지표를 사용하는 것이며, 두 번째 옵션은 다른 LLM을 사용하여 우리 LLMBA의 품질을 판단하는 것입니다. 우리는 이 두 가지 옵션을 구축하기 위한 코드를 단계별로 살펴보고, 각각의 모범 사례, 장단점을 논의할 것입니다.

마지막으로, LLMs의 독립적 성능을 평가하는 데 사용되는 벤치마크를 살펴보겠습니다. 이러한 벤치마크는 LLMs 개발자에게 중요하며, 새로운 모델이나 우리가 직접 미세 조정한 모델의 성능을 이해하는 데 도움이 됩니다.

LLMs의 비결정적 특성

동일한 입력( )이 항상 동일한 출력( )을 생성하는 기존 소프트웨어 시스템과 달리, LLMs은 훈련 데이터에 존재하지 않을 수도 있는 새로운 텍스트를 생성할 수 있으며, 동일한 prompt와 입력 데이터를 사용하더라도 쿼리할 때마다 서로 다른 응답을 생성할 수 있습니다. 이러한 행동은 (창의성과 일반화 능력을 중시할 때) 장점이자 동시에 중대한 과제입니다.

LLMs의 이러한 비결정적 특성은 다음과 같은 의미를 갖습니다:

• 동일한 입력 데이터라도 서로 다른 분석적 결론을 도출할 수 있다.

• 규제 준수가 어려워집니다.

• 일관성 없는 응답으로 인해 신뢰도와 효율성이 저하될 수 있습니다.

• 기존 소프트웨어에 비해 테스트가 더 복잡해집니다.

금융 서비스 ...