핸즈온 LLM

34

1부 언어 모델 이해하기

차원 개수

(속성)

그림

1-8

임베딩의 값은 단어를 표현하는 데 사용할 수 있는 속성을 나타냅니다. (사실은 그렇지 않지만) 차원이 개념을

나타낸다고 상상하면 지나치게 단순화한 것입니다. 하지만 이 아이디어를 설명하는 데 도움이 됩니다.

실제로 이런 속성은 매우 모호하여 하나의 객체나 사람이 식별할 수 있는 개념과 좀처럼 연관

되지 않습니다. 하지만 이런 속성을 합치면 컴퓨터에게 의미가 있으며 사람의 언어를 컴퓨터

언어로 바꾸는 좋은 방법이 됩니다.

임베딩은 단어 사이에 있는 의미의 유사성을 측정할 수 있기 때문에 매우 유용합니다. 다양한

거리 측정 방법을 사용해 한 단어가 다른 단어와 얼마나 가까운지 판단할 수 있습니다. [그림

1

-

9

]처럼 임베딩을

2

차원 표현으로 압축하면 비슷한 의미의 단어가 가깝게 나타나는 경향을

볼 수 있습니다.

5

장에서 임베딩을

n

차원 공간으로 압축하는 방법을 알아보겠습니다.

그림

1-9

단어 임베딩을

2

차원 공간에 표현하면 의미가 비슷한 단어가 서로 가깝게 위치합니다.

35

1

장

대규모 언어 모델 소개

1.2.3

임베딩의 종류 ...