실무로 통하는 LLM 애플리케이션 설계

259

8

장

정렬 훈련과 추론

역도 완전히 잘못되었습니다. 제이콥은 동메달을 땄고, 페루스는 금메달을 땄으며, 조슈아는

은메달을 땄지만 다른 종목에서는 금메달도 획득했습니다.

환각을 일으키지 않는 모델이라면 사실적인 정보를 제공하고 특정 세부 사항을 모를 때는 솔직

히 모른다고 인정했을 것입니다.

CAUTION

_

새로운 지식에 대한 파인 튜닝 데이터는 모델의 환각 경향을 증가시킬 수 있습니다. 게크

만

Gekhman

연구진

6

은 파인 튜닝 과정에서

LLM

이 파인 튜닝 데이터의 새로운 지식을 사전 훈련 데이터에 이미 존

재했던 지식보다 훨씬 느리게 학습한다는 것을 보여줍니다. 또한

LLM

이 새로운 지식을 학습할 때 과적합으로

이어질 수 있어 관련 없는 질문에서도 환각이 증가한다는 점을 밝혀냈습니다. 모델에게 완전히 새로운 지식을 가

르치고 싶다면

7

장에 설명한 리플레이 등의 기법과 함께 지속적 사전 훈련 설정을 사용하는 것이 좋습니다.

8.4

환각 완화 전략

LLM

기반 도구와 소프트웨어 채택을 주저하게 만드는 큰 원인 중 하나는 시스템의 신뢰성 문

제입니다. 신뢰성은 환각의 발생에 따라 큰 영향을 받습니다. 따라서 모델이 환각을 일으키는

경향을 방지하거나 줄이기 위한 연구가 활발히 이루어지고 있습니다. 몇 가지 일반적인 기법을

살펴보겠습니다.

제품 설계 수준에서는 ...