실무로 통하는 LLM 애플리케이션 설계

143

4

장

아키텍처와 학습 목표

손실이 계산되면 역전파 알고리즘으로 모델 파라미터에 대한 손실의 그레이디언트를 계산하고

이를 바탕으로 가중치가 업데이트됩니다.

4.5

내재적 모델 평가

역전파 알고리즘이 실제로 잘 작동하고 모델이 시간이 지남에 따라 향상되는지 어떻게 확인할

까요? 내재적 모델 평가나 외재적 모델 평가를 활용할 수 있습니다.

외재적 모델 평가는 실제 현실 세계의 후속 작업에서 모델의 성능을 테스트합니다. 이러한 작

업은 모델의 성능을 직접 측정하지만, 모델 능력의 제한된 범위만을 평가합니다. 반면에 내재

적 모델 평가는 언어를 모델링하는 모델의 일반적인 능력을 더 포괄적으로 평가합니다. 다만,

내재적 평가 지표에서의 성능이 모든 가능한 다운스트림 작업에서의 성능과 직접적으로 비례

한다는 보장은 없습니다.

가장 일반적인 내재적 평가 지표는 당혹도를 나타내는

퍼플렉시티

입니다. 퍼플렉시티는 언어

모델이 시퀀스의 다음 토큰을 얼마나 정확하게 예측하는지를 측정합니다. 항상 다음 토큰을 완

벽하게 예측하는 모델의 퍼플렉시티는

1

입니다. 퍼플렉시티값이 높을수록 언어 모델의 성능이

떨어집니다. 모델이 크기가

V

인 어휘에서 각 토큰을

1

/

V

의 확률로 무작위 예측하는 최악의 상

황에서 퍼플렉시티는

V

가 됩니다. 퍼플렉시티는 다음 공식으로 교차 엔트로피와 연관됩니다.

퍼플렉시티 =

2

^(교차 엔트로피)

4.6

트랜스포머 백본

지금까지 트랜스포머의 표준 버전 구성 요소를 설명했습니다. 실제로는 트랜스포머를 구현하

는 데 세 가지 주요 아키텍처 백본이 ...