에이전트 시대의 AI 시스템 설계

60

에이전트 시대의 AI 시스템 설계

1.6.4

고려사항

미세조정을 이용하면

LLM

을 특정 도메인의 용례들에 맞게 커스텀화할 수 있다. 하지만 상황을

좀 더 복잡하게 만드는 단점들이 존재한다. 따라서 미세조정으로 얻는 이득이 그런 추가적인

골칫거리들을 능가하는지 미리 확인해 보아야 한다. 특히 다음 사항들에 주목하자.

데이터 요구사항

컨텍스트 내 학습에서는 예시 몇 개로도 충분하다. 하지만 미세조정을 이용해서

LLM

을 여러 작업에 맞게 커스

텀화하려면 그보다 훨씬 더 많은 예시(

100

개 이상)를 수집해야 한다. 만일 지금 당장 충분한 예시 표본을 수집

할 시간이나 자원이 없다면, 일단은 컨텍스트 내 학습으로 시작해서 데이터를 수집한 다음, 나중에 모델을 미세

조정해서 성능을 높이고 더 일관되고 신뢰할 수 있는 결과물을 얻는 것이 나을 수 있다.

파국적 망각

LLM

을 미세조정하면

파국적 망각

catastrophic

forgetting

현상이 발생할 수 있다. 이는 미세조정 과정에서 제공된 예시

들을 모델이 너무 중요하게 여긴 나머지 예전에 습득한 지식을 잃어버리는 현상이다. 이 현상은

LLM

의 가장 큰

장점인 ‘포괄적 세상 지식

comprehensive

world

knowledge

’을 무력화한다. 한 가지 완화책은 먼저 작은 데이터셋으로 단 몇

에포크

epoch

만 미세조정하고, 이후 학습률

learning

rate

을 적절히 설정해서 본격적인 미세조정을 진행하는 것이다. 일

반적으로 미세조정 학습률은 사전훈련 단계가 종료된 시점의 값 (보통 ...