밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

Data Science

330

󻱴󽴔󽴔󻱟󻪿󻪃󽴔󼅧󺹻

그림 21-3

󽴔󺞷󻪃󽴔󻅰󼗿

만약 좀 더 관심을 가지고 있다면,

CBOW

단어 벡터를 학습하는 것도 어렵지 않게

할 수 있다. 일단,

ID

의 열을 입력 받고 임베딩 벡터의 열을 출력하도록

Embedding

층을 수정하면 된다. 그리고 벡터 열의 합을 반환하는 새로운 층(

Sum

?)을 만들면

된다.

각 단어는 해당 단어의 주변 단어들의

ID

를 입력 받아 해당 단어의

one

-

hot

-

encoding

을 반환해 주는 형태로 표현할 수 있다.

수정된

Embedding

층에서 주변 단어를 벡터의 열로 바꾸고, 새로운

Sum

층에서

벡터의 열을 하나의 벡터로 변환하고,

Linear

층에서 계산된 점수를 소프트맥스

에 통과시키면 ‘특정 문맥이 주어졌을 때 가장 가능성이 높은 단어’를 예측하는

분포를 만들 수 있다.

나는

skip

-

gram

보다

CBOW

를 학습시키는 것이 더 힘들었던 것 같다. 그래도

한번 시도해보길 바란다.

21.7

재귀 신경망

앞서 만든 단어 벡터는 신경망의 입력값으로 종종 이용되곤 한다. 그런데 단어가

3

개인 문장을

[3,

embedding_dim]

텐서, 단어가

10

개인 문장을

[10,

embedding_

dim]

텐서로 만든다면 문장의 경우에는 길이가 제각각이 되기 때문에 문제가 조

금 어려워진다.

Linear ...