에이전트 시대의 AI 시스템 설계

460

에이전트 시대의 AI 시스템 설계

앙상블 증류의 또 다른 용도는 여러 전문화된 모델을 하나의 범용 모델로 압축해서 프로덕션

구성을 단순화하는 것이다.

요청된 프롬프트 중 작은 모델이 처리해도 되는 것들을 잘 선별할 수 있는 상황이라면 모델 증

류는 비용과 지연시간을 줄이는 효과적인 방법이 될 수 있다. 프런티어 모델을 사용해서 애플

리케이션의 첫 버전을 개발하고, 애플리케이션에 들어오는 프롬프트를 로깅한 다음, 그러한 특

정 유형의 프롬프트에서 잘 작동하는 증류된 모델을 만드는 방식이 흔히 쓰인다.

옵션

2

: 모델 양자화

LLM

은 일반적으로 가중치를

32

비트 부동소수점 수 (

FP32

)로 저장하므로 상당한 메모리를 소

비한다. 예를 들어

72B

급 모델의 매개변수

700

억개를

FP32

로 저장한다면 약

280GB

의 메모리

가 필요하다. 이 정밀도 수준은 훈련 중에는 수학적으로 편리하지만, 모델 실행 (인퍼런스 ) 시점

에서는 불필요한 경우가 많으며, 메모리 추가 부담이 크다 보니 배포 옵션이 크게 제한된다.

개념

전정밀도

full

-

precision

계산은 자원 집약적이어서 행렬 곱셈이 느리다. 그래서 토큰 생성 지연시간

이 늘어나고 다중 요청 서비스 시나리오에서 처리량

throughput

이 감소한다.

효율성을 위해 모델 지식의 폭을 일부 희생하는 증류와 달리, 양자화는 하드웨어 제약을 해결

하면서 원본 모델의 지식과 능력을 거의 모두 유지한다. [그림

8

-

2

]에서 보듯이 정밀도를

32

비트 부동소수점에서

8

비트 정수로 낮추면 모델의 메모리 사용량이 ...