실무로 통하는 LLM 애플리케이션 설계

400

3

부

LLM 애플리케이션 활용 패러다임

12.10

RAG

대 파인 튜닝

RAG

를 사용할지, 모델을 파인 튜닝할지는 궁극적으로 다음의 질문으로 이어집니다. 이 작업

에서

LLM

자체로 처리 가능한 부분은 어디까지이며 외부 지식에 의존해야 하는 범위는 어디까

지인가요?

작업 수행에 외부 정보가 필요하다면 검색 기반 방식과 파인 튜닝을 모두 사용할 수 있습니다.

검색은 요청 시 필요한 외부 정보를 동적으로 가져오는 방식이며 상대적으로 빠르고 비용이 적

게 들지만,

LLM

이 정보의 컨텍스트나 깊이를 충분히 학습할 기회는 주어지지 않습니다.

반면, 지속적 사전 훈련이나 파인 튜닝은 모델이 외부 정보를 구조적으로 학습하게 하는 방법

입니다. 그러나 학습 비용이 많이 든다는 단점이 있습니다.

오바디아

Ovadia

48

연구진은 외부 지식이 필요한 작업에서

RAG

와 파인 튜닝을 비교했으며, 지식

집약적 작업에서

RAG

가 파인 튜닝을 지속적으로 능가한다고 밝혔습니다. 이 장 앞부분에서

설명했듯이,

LLM

은 개념이나 사실을 암기하는 데 많은 샘플이 필요합니다. 따라서 파인 튜닝

데이터셋의 반복이나 증강을 통해 파인 튜닝의 효과를 개선할 수 있습니다.

지식 집약적 작업에서도

RAG

와 파인 튜닝 중 하나만 선택할 필요는 없습니다. 전문 도메인에

서 작업하거나 특정 스타일이나 형식의 ...