
433
10
NLP 깊게 알아보기: 순환 신경망
특수 토큰이 가장 먼저 나온 다음 빈도 순서대로 다른 토큰이 나열됩니다. 디폴트로
Numericalize
는
min
_
freq
=
3
,
max
_
vocab
=
60000
인잣값을 설정합니다.
max
_
vocab
=
60000
은 가장 일반적인 단어
60
,
000
개를 제외한 나머지를 모두
을 뜻하는 특수 토큰
(
xxunk
)
으로 교체하라는 뜻입니다. 지나치게 큰 임베딩 행렬을 방지하는 데 유용하죠. 이로써
메모리를 적게 사용하고 학습 속도가 빨라지며, 충분한 데이터가 부족하여 드물게 등장하는 단
어에서 무언가를 학습하려는 상황을 제어할 수 있습니다.
fastai
는
vocab
인자에 직접 토큰 목록을 넣어서 수치화하는 방식도 지원합니다.
Numericalize
객체를 생성했다면, 다음과 같이 객체를 함수처럼 사용할 수 있습니다.
>>> nums = num(toks)[:20]; nums
tensor([ 2, 8, 21, 28, 11, 90, 18, 59, 0, 45, 9, 351, 499, 11,
> 72, 533, 584, 146, 29, 12])
각 토큰을 모델에 입력할 수 있는 정숫값으로 구성된 텐서로 변환했습니다. 다음은 변환한 내
용을 다시 텍스트로 역변환하여 텍스트와 정숫값 사이의 매핑이 제대로 이루어졌는지를 ...