
322
에이전트 시대의 AI 시스템 설계
SFT_OUTDIR,
device_map="auto",
torch_dtype=torch.bfloat16,
attn_implementation="eager",
)
processor = AutoProcessor.from_pretrained(SFT_OUTDIR)
이제부터는 기초 모델을 사용할 때와 정확히 동일한 방법으로 모델을 사용하면 된다.
text = processor.apply_chat_template(messages)
inputs = processor(text=[text],return_tensors="pt").to(model.device)
generated_ids = model.generate(**inputs, temperature=0.8)
output_text = processor.batch_decode(generated_ids)
5.4.3
예제
미세조정은 텍스트 모델에만 국한되지 않는다. 이미지, 오디오, 비디오 모델에도 적용할 수 있
다. 이 점을 강조하기 위해, 우리 저자들이 다중 모달 모델에 어댑터 조정을 적용하는 과정의
주요 단계를 설명하겠다. 어댑터 조정의 목표는 이미지를 입력받고 텍스트를 출력하는 능력이
있는 모델을 의료 진단 분야에 맞게 전문화하는 것이었다.
해부학적 설명
우리는 어댑터 조정을 이용해서 모델이 ...