파이토치로 배우는 LLM & AI

168

1

부

모델 구축

6.1

단어의 의미 구축하기

고차원 임베딩 벡터를 만들기 전에 간단한 예제를 통해 숫자에서 의미를 유도하는 방식을 시각

화해 봅시다.

5

장의

Sarcasm

데이터셋을 사용해 빈정거리는 기사의 헤드라인 속 모든 단어를

양수로 인코딩하고, 정상적인 헤드라인의 단어를 음수로 인코딩하면 어떻게 될까요?

6.1.1

간단한 방법: 양수와 음수

예를 들어 다음과 같은 빈정거리는 헤드라인을 생각해 보죠.

1

christian bale given neutered male statuette named oscar

어휘 사전에 있는 모든 단어가

0

부터 시작한다고 가정하면 이 문장에 있는 모든 단어에

1

을 더

할 수 있으므로 다음과 같은 결과를 얻게 됩니다.

{ "christian" : 1, "bale" : 1, "given" : 1, "neutered": 1, "male" : 1,

"statuette": 1, "named" : 1, "oscar": 1}

NOTE

_

이는 이전 장에서 보았던 단어 토큰화와 다릅니다. 각 단어(예를 들면

"

christian

"

)을 말뭉치에서

인코딩된 토큰으로 바꿀 수 있지만 지금은 읽기 쉽게 단어 그대로 두었습니다.

그다음 단계로 다음처럼 빈정거림이 없는 평범한 헤드라인을 생각해 보죠.

2

gareth bale scores wonder goal ...