
428
2
fastai 애플리케이션 계층 이해하기
다른 예도 살펴보죠. 느낌표가 네 개 연속으로 등장한다면, 그중 하나만 유지하고
를 의미하는 특수 토큰과 숫자
4
로 대체합니다. 그러면 모델의 임베딩 행렬은 서로 다른 횟
수의 연속된 문자를 다르게 취급하지 않고, 반복된 구두점의 일반적인 개념 정보를 인코딩할
수 있습니다. 이와 유사하게 단어의 첫 문자가 대문자라면, 해당 대문자를 소문자로 변환하고
대문자를 의미하는 특수 토큰을 삽입하기도 하죠. 그러면 임베딩 행렬은 (단어의 소문자 버전
만 필요하므로 ) 계산과 메모리 자원을 절약하면서 모델이 대문자라는 개념을 학습할 수 있도
록 합니다.
다음은 몇 가지 특수 토큰의 설명입니다.
●
xxbos
텍스트 (여기서는 영화 리뷰)의 시작을 표시합니다.
●
xxmaj
다음 단어가 대문자로 시작함을 표시합니다 (모든 단어를 소문자로 만들었으므로 필요합니다 ).
●
xxunk
현재 단어가 목록에 없음을 표시합니다.
디폴트로 제공되는 규칙 목록을 확인해서 적용된 규칙을 파악할 수 있습니다.
>>> defaults.text_proc_rules
[<function fastai.text.core.fix_html(x)>,
<function fastai.text.core.replace_rep(t)>, ...