실무로 통하는 LLM 애플리케이션 설계

284

2

부

LLM 활용하기

동적 조기 종료는 동적 추론

dynamic

inference

이라는 기법 분류에 속합니다. 여기서 추론 계산은 입

력의 특성에 따라 동적으로 결정됩니다. 중요한 예로는

4

장에서 소개한 전문가 혼합 (

MoE

) 모

델이 있습니다.

MoE

모델에서는 라우팅 함수가 추론을 실행할 전문가 모듈의 작은 하위 집합

을 선택해 필요한 연산량을 줄입니다.

다음으로는 지식 증류라는 방법으로 대규모 모델에서 파생된 소규모 모델을 만들어 성능 저하

는 최소화하면서 추론 속도는 개선하는 방안을 살펴보겠습니다.

9.3.3

지식 증류

5

장에서는

DistilBERT

9

와 같은 증류된 버전의 모델을 간략히 소개했습니다. 이러한 모델은

증류된 원본 대형 모델의 능력을 근사하는 더 작은 모델로, 더 빠른 추론을 가능하게 합니다.

수년에 걸쳐 지식 증류를 위한 여러 기법이 개발되었습니다. 이 분야의 연구 발전에 대한 조사

는 쉬 연구진의 조사 논문

10

을 참조하세요.

지식 증류 과정은 증류 데이터 준비와 훈련이라는 두 단계로 나눌 수 있습니다. 기본 모델은 교

사 모델

teacher

model

이라 하고 증류된 모델은 학생 모델

student

model

이라 합니다.

[그림

9

-

2

]는 모델 증류 과정을 보여줍니다.

정렬

증류

데이터

레이블

교사 모델

학생 모델

그림

9-2

지식 증류

이제 지식 증류의 ...