실무로 통하는 LLM 애플리케이션 설계

142

1

부

LLM의 구성 요소

x_normalized = (x - mean) / torch.sqrt(variance + self.epsilon)

return self.gamma * x_normalized + self.beta

layer_norm = LayerNorm(embedding_dim)

outputs = layer_norm(inputs)

4.4

손실 함수

지금까지 각 트랜스포머 블록의 모든 구성 요소를 살펴봤습니다. 다음 토큰 예측이라는 학습

목표에서, 입력값은 트랜스포머 층들을 통과하며 모든 토큰에 대한 확률 분포 형태의 최종 출

력을 생성합니다. 훈련 과정에서는 이 출력 분포와 정답을 비교해 손실을 계산합니다. 정답 분

포는 정답 토큰에는

1

을, 나머지 모든 토큰에는

0

을 할당합니다.

출력과 정답 사이의 차이를 수치화하는 다양한 방법이 있습니다. 그중 가장 널리 사용하는 방

법은 교차 엔트로피

cross

-

entropy

로, 다음 공식으로 계산됩니다.

교차 엔트로피 = -∑ (정답 확률)×

log

(출력 확률 )

예를 들어 다음 문장을 생각해 봅시다.

‘

His

pizza

tasted

______’

정답 토큰이 ‘

good

’이고, 모델의 출력 확률 분포가 (

terrible

:

0

.

65

,

bad

:

0

.

12

,

good

:

0

.

11

,

...)이라고 가정해 봅시다.

교차 엔트로피는 ...