파이토치로 배우는 LLM & AI

424

2

부

모델 사용

model = PromptTunedBERTInference()

result = model.predict("This movie was great!")

print(f"예측: {'Positive'

if result['prediction'] == 1 else 'Negative'}")

print(f"신뢰도: {result['confidence']:.2f}")

프롬프트 튜닝은 낮은 신뢰도를 출력할 수 있으며, 특히 이와 같은 이진 분류에서 오분류로 이

어질 수 있습니다. 모델이 잘 동작하는지 탐색해 보는 것이 좋으며 로짓이 원하는 값을 내도록

돕는 기술이 있습니다. 여기에는 소프트맥스의 온도 설정, 모델 용량을 늘리기 위해 더 많은 프

롬프트 토큰 사용하기, 이 장에서 했던 것처럼 랜덤한 토큰 대신 감성 관련 단어로 프롬프트 토

큰 초기화하기 등이 있습니다.

16.3

마치며

이 장에서 주어진 데이터에서

LLM

을 커스터마이징하는 여러 방법을 살펴봤습니다. 두 가지 주

요 방법으로 전통적인 미세 튜닝과 프롬프트 튜닝을 배웠습니다.

IMDb

데이터셋을 사용해 감성 분석을 위해

BERT

를 미세 튜닝하는 방법을 알아보면서 데이

터 준비와 모델 설정부터, 훈련과 평가까지 모든 단계를 밟아 보았습니다. 몇 번의 에폭만에 모

델은 감성 분류에서

95

%에