파이토치로 배우는 LLM & AI

378

2

부

모델 사용

["If", "you", "are", "happy", "and", "you", "know", "it"]

디코더에 통과한 후

clap

토큰이 생성되면 다음과 같은 토큰 리스트를 얻게 됩니다.

["If", "you", "are", "happy", "and", "you", "know", "it", "clap"]

이런 토큰들이 토큰 임베딩 + 위치 인코딩 상자로 전달됩니다.

토큰 임베딩과 위치 인코딩 이해하기

이 단계에서 토큰을 (

5

장에서 설명한 )

임베딩

embedding

이라 부르는 벡터 표현으로 변환합니다.

임베딩은 비슷한 의미의 단어를 비슷한 벡터 공간에 클러스터링합니다. 이런 임베딩은 훈련을

통해 학습됩니다.

예를 들어 앞서 언급한 토큰 리스트 끝에 있는 단어

it

과

clap

이 다음과 같은 토큰 임베딩을 가

진다고 가정해 보죠.

"it" -> [0.2, –0.5, 0.7] (위치 7)

"clap" -> [–0.3, 0.4, 0.1] (위치 8)

가독성을 위해

3

차원 임베딩을 사용했습니다.

다음 단계는 트랜스포머의 혁신 중 하나인 위치 인코딩을 수행하는 것입니다. 벡터 공간에 있

는 단어의 의미 임베딩에 사인 함수와 코사인 함수를 사용해 단어의 위치를 더합니다. 이는 이

웃한 단어에 대한 위치에 대한 영향을 반영합니다.

예를 들어

3D

임베딩 벡터가 ...