AI 에이전트 엔지니어링

205

7

장

에이전틱 시스템의 학습

1

.

<

think

>

또는

<

tool

_

call

>

구간에 특수 토큰을 부착한다.

2

.

LoRA

를 사용해 특정 레이어만 효율적으로 적응시킨다.

3

.

SFTTrainer

로 올바른 (프롬프트, 응답) 쌍 데이터셋에 대해 모델을 학습시킨다.

먼저, 학습에 적합한 형태로 데이터를 구조화하는 전처리 함수를 정의합니다.

def build_preprocess_fn(tokenizer):

"""원시 샘플을 토크나이즈된 프롬프트로 매핑하는 함수를 반환합니다."""

def _preprocess(sample):

messages = sample["messages"].copy()

_merge_system_into_first_user(messages)

prompt = tokenizer.apply_chat_template(messages, tokenize=False)

return {"text": prompt}

return _preprocess

여기서는 모델의 내부 추론과 외부 도구 호출을

<

think

>...</

think

>

및

<

tool

_

call

>...</

tool

_

call

>

같은 특수 토큰으로 감쌉니다. 이렇게 하면 모델이 자신의 ‘생각’과

API

액션을 쉽

게 구분할 수 있습니다.

def build_tokenizer(model_name: str): ...