에이전트 시대의 AI 시스템 설계

328

에이전트 시대의 AI 시스템 설계

그림

5-12

캡션을 생성할 테스트 이미지

다른 모든 종류의 이미지 기반 텍스트 생성 문제도 이와 유사한 접근법으로 해결할 수 있다. 예

를 들어 이미지가 주어지면 제품 설명을 생성하거나, 지도가 주어지면 내비게이션 지시사항을

생성하도록 모델을 가르치는 데에도 이 예제와 같은 다중 모달 어댑터 조정 기법이 유효하다.

5.4.4

고려사항

해법 절에서 설명한 접근법의 몇 가지 변형과 대안을 살펴보자.

변형들

어댑터 층들을 따로 저장해 두고 모델 실행 시 그 층들을 기초 모델에 삽입하는 대신, 모든 층

을 병합해서 저장할 수도 있다. 가중치 비공개 모델의 경우에는 모델 제공업체

API

를 통해 모

델을 미세조정해서 커스텀 모델

API

종단점을 사용하는 방식이 가능하다.

모델 병합

앞의 예제에서는 어댑터 가중치들을 기초 모델과는 별도로 저장했다. 일반적으로 기초 모델은

매우 크므로, 이런 방식은 저장 공간을 절약하는 데 도움이 된다. 하지만 실행 시 기초 모델을

로드한 후 어댑터 층들을 삽입해야 하므로 과정이 번거롭고 모델 배포 관리가 어렵다. 또한 지

연시간도 약간 증가한다. 어댑터 가중치와 기본 모델 가중치를 병합해서 미세조정된 모델을 통

채로 저장하면 그런 문제가 사라진다. 허깅 페이스

Transformers

라이브러리에서는 다음과 ...