
143
2
장
콘텐츠 스타일의 제어
training_args = DPOConfig(output_dir="Qwen-DPO")
trainer = DPOTrainer(model=model, args=training_args,
processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()
훈련이 완료되면 모델을 저장한다.
trainer.save_model(training_args.output_dir)
훈련된 모델을 배포할 수도 있고, 로컬 저장소에서 트랜스포머 파이프라인으로 불러와 기존 모
델 대신 사용할 수도 있다. 이 모델은 선택된 응답과 기각된 응답 집합에서 학습한 스타일로 결
과물을 생성할 것이다.
2.5.3
예제
LLM
을 이용해 중고 거래 광고를 생성하되, 지연시간 문제로 더 작은 모델을 사용하고 싶다고
가정해 보자. 여기서는 매개변수
0
.
5B
(
5
억)개 규모의 큐원
2
모델 (
Qwen2
-
0
.
5B
)을 사용한
다(전체 코드는 원서 깃허브 저장소의
examples
/
05
_
content
_
optimization
에 있다 ).
제로샷 학습은 효과가 없다
비교를 위해 제로샷 학습은 어떤지 시험해 보자. 다음은 모델에게 중고 거래 광고 문구의 생성
을 요청하는 프롬프트이다.
당신은 동네 온라인 그룹에 중고 물품을 판매하기 위해 ...