
319
5
장
모델 능력 확장
(
https
://
oreil
.
ly
/
1Mzio
)이다. 기초 모델을 어댑터 조정 방식으로 미세조정하려면 기존
신경망 층 사이에 어댑터 층을 삽입해야 한다. 모델 자체에 직접 접근할 수 없는 가중치 비공개
모델의 경우에는 모델 제공업체가 제공하는 관리형 미세조정 서비스를 사용해야 한다. 하지만
그런 서비스 대신 가중치 공개 모델을 사용하는 경우가 더 많은데, 이유는 크게 두 가지다. 첫
째로, 모델 선택의 폭이 넓다.
GPT
-
4
나 제미나이 같은 거대 모델 대신 원하는 작업과 비용에
맞는 더 작은 모델을 사용할 수 있다. 둘째로, 인터넷에 연결되지 않은 로컬 하드웨어에서도 모
델을 실행할 수 있다.
어댑터 조정의 훈련 과정에서 제일 먼저 할 일은 미세조정할 기초 모델을 로드하는 것이다. 여
러 가중치 공개 모델 (라마, 미스트랄, 파이, 젬마, 딥시크 등 )의
4
비트 양자화 버전을 언슬로
스
Unsloth
(
https
://
oreil
.
ly
/
pSSOQ
)에서 구할 수 있다. 제
1
장에서 언슬로스 프레임워크를
이용해서 라마를 미세조정하는 예제를 보았다. 다음은 허깅 페이스에서 부동 소수점 버전의 모
델과 토크나이저를 로드한 다음
4
비트로 양자화하는 예이다. 전체 코드는 원서 깃허브 저장소
의
15
_
adapter
_
tuning
파일에 있다.
model_kwargs[ ...