에이전트 시대의 AI 시스템 설계

455

8

장

제약 조건 해결

지 기기에서도 실행할 수 있다.

비용, 가용성, 속도 문제를 해결하는 한 가지 접근법은 하드웨어 요구사항을 낮추는 것이다.

LLM

의 메모리 사용량을 줄일 수 있다면 메모리가 적은 기기에서 덜 강력한

GPU

로도 실행할

수 있다. 하지만 앞에서 보았듯이 더 작은 모델은 매개변수 수가 적어서 복잡한 작업을 처리하

지 못할 수 있다는 점이 문제이다.

응답의 품질을 타협하지 않으면서도

SLM

을 활용할 방법이 있을까?

8.1.2

해법

생성형

AI

기반 애플리케이션을 개발할 때는 먼저 프런티어 기초 모델로 프로토타입을 만든 다

음, 대규모 기초 모델을 더 작은 모델로 교체하려고 시도하게 된다. 응답 품질을 지나치게 훼손

하지 않으면서 대규모 기초 모델에서 소규모 모델로 전환하는 데는 세 가지 옵션이 있다. 첫째

는

증류

이다. 이것은 모델의 지식 범위를 좁혀 크기를 줄이는 것으로, 작은 모델이 애플리케이

션에 필요한 작업만 수행하도록 한다. 둘째는

양자화

로, 모델 매개변수의 정밀도

precision

를 낮춤

으로써 모델 정확도를 아주 조금만 희생하고도 메모리 소비량을 크게 줄인다. 셋째는

추측 디

코딩

으로, 작은 모델과 큰 모델을 함께 사용해서 정확도를 거의 훼손하지 않고 지연시간을 줄

인다. 단, 애플리케이션의 복잡성은 증가한다.

모델 지연시간을 줄이는 또 다른 대안으로 모델 가지치기

model

pruning

가 있다. 하지만 가지치기

는 일반적으로 이 패턴에서 다루는 세 가지 옵션보다 낮은 품질의 결과를 생성하므로, 이 책에

서는 논의하지 ...