실무로 통하는 LLM 애플리케이션 설계

35

1

장

LLM의 개념과 첫걸음

NOTE

_

셰퍼

Schaeffer

연구진

10

은 특정 작업에서 모델 크기가 임계점을 넘을 때 성능이 갑자기 향상되는 것처럼

보이는 현상이 사실은 성능을 평가하는 방식에 따른 착시 효과일 뿐이라고 주장합니다. 많은 평가 지표가 정답의

일부를 맞췄을 때는 점수를 부여하지 않고, 과제를 완전히 해결했을 때만 점수를 주는 방식이므로 모델이 점진적

으로 개선되더라도 그 변화가 지표에 드러나지 않을 수 있다는 것입니다. 반면, 이러한 주장에 대한 반론도 존재

합니다. 예를 들어 여러 단계를 거치는 산술 연산과 같은 과제에서 정답을 일부만 맞히는 것은 완전히 틀릴 때와

마찬가지로 무의미하다고 볼 수 있기 때문입니다.

어떤 능력이 창발적이라고 볼 수 있는지는 여전히 연구자들 사이에서 활발히 논의되는 주제입

니다.

5

장에서는 이 개념이 원하는 용도에 맞는 모델을 선택할 때 어떤 영향을 미치는지를 자

세히 살펴봅니다.

WARNING

_

안타깝게도

창발적

특성

emergent

property

이라는 표현은 문헌마다 서로 다른 의미로 사용됩니다. 일

부 논문에서는 이를 모델이 명시적으로 학습되지 않았음에도 자연스럽게 습득한 능력을 설명하는 데 사용하기도

합니다. 그러나 이 책에서는 웨이 연구진이 제시한 정의

11

를 기준으로 설명을 일관되게 이어가겠습니다. ...