실무로 통하는 LLM 애플리케이션 설계

103

2

장

사전 훈련 데이터

2.6

사전 훈련 데이터가 후속 작업에 미치는 영향

LLM

의 사전 훈련 데이터셋을 기준으로 후속 작업 성능에 대해 어떤 예측을 할 수 있을까요?

연구 결과, 모델이 특정 작업이나 입력에 대해 보이는 성능은 사전 훈련 데이터셋에서 해당 작

업이나 입력과 관련된 단어들의 등장 빈도와 밀접한 상관관계가 있다는 사실이 밝혀졌습니다.

이 현상은 처음에는 라제기

Razeghi

연구진

85

이 관찰했으며, 이후 맥코이

McCoy

연구진의 논문

86

에

서 심층적으로 분석되었습니다.

맥코이 연구진은 언어 모델이 훈련 데이터셋에서 더 자주 등장한 작업에서 상대적으로 높은 성

능을 보인다는 사실을 보여주었습니다. 예를 들어 모델은

10

진수 덧셈에는 능숙하지만

9

진수

덧셈에는 상대적으로 취약하며, 알파벳순 정렬은 잘 수행하지만 알파벳 역순 정렬은 상대적으

로 어렵게 처리합니다.

또한 유사한 작업에서도 출력 결과가 사전 훈련 데이터셋에서 높은 빈도로 등장할 때 모델의

성능이 더 높아진다는 사실도 확인되었습니다. 입력 데이터에서도 마찬가지로, 훈련 데이터셋

에서 더 자주 등장한 입력일수록 모델이 더 잘 대응하는 경향을 보였습니다.

예를 들어

LLM

에 ‘

record

a

be

that

miles

,

yes

,

hour

,

per

fifty

clocked

he

.’라는 문장의 ...