실무로 통하는 LLM 애플리케이션 설계

219

6

장

파인 튜닝

bitsandbytes==0.41.0 trl==0.7.4

# 데이터셋과 훈련 관련 구성 요소 불러오기

from datasets import load_dataset

from transformers import TrainingArguments, BitsAndBytesConfig

from transformers import LlamaForCausalLM, LlamaTokenizer

from peft import PeftModel, LoraConfig

from trl import SFTTrainer

# 훈련 설정 구성(TrainingArguments)

train_params = TrainingArguments(

optim = “paged_adamw_32bit”, # 32비트 페이징 AdamW 옵티마이저 사용

learning_rate = 3e-4, # 학습률

weight_decay = 0.01, # 가중치 감쇠(정규화)

warmup_ratio = 0.03, # 워밍업 비율

gradient_accumulation_steps = 4, # 그레이디언트 누적 스텝 수

bf16 = True, # bfloat16 형식 사용

gradient_checkpointing = True, # 그레이디언트 체크포인팅 활성화

label_smoothing_factor = 0.1, # 레이블 스무딩 계수

neftune_noise_alpha = 5, # NEFTune 노이즈 ...