
437
10
NLP 깊게 알아보기: 순환 신경망
>>> ‘ ‘.join(num.vocab[o] for o in x[0][:20])
‘xxbos xxmaj this movie , which i just xxunk at the video store , has apparently
> sit around for a’
그리고 종속변수는 독립변수와 거의 같지만, 토큰 하나만 뒤로 미룬 형태여야 합니다 (
xxbos
다음의
xxmaj
부터 시작하여 마지막 ‘
a
’ 다음의 ‘
couple
’까지로 구성합니다 ).
>>> ‘ ‘.join(num.vocab[o] for o in y[0][:20])
‘xxmaj this movie , which i just xxunk at the video store , has apparently sit
> around for a couple’
여기까지 전처리 과정을 모두 살펴봤습니다. 다음은 전처리된 데이터로 텍스트 분류 모델을 학
습시키는 과정을 알아보죠.
10.2
이 장의 시작부에서 봤듯이 전이 학습을 사용한 최신 텍스트 분류 모델은 두 단계의 학습 과정
으로 얻을 수 있습니다. 첫 번째는 위키피디아 데이터로 사전 훈련된 언어 모델을
IMDb
리뷰
말뭉치에 대해 미세 조정하는 단계이고, 두 번째는 미세 조정된 모델을 분류 작업에 ...