fastai와 파이토치가 만나 꽃피운 딥러닝

421

10



NLP 깊게 알아보기: 순환 신경망

1

장에서는 자연어 데이터셋에서도 딥러닝이 좋은 결과를 얻을 수 있다는 사실을 확인했습니

다. 그때 다룬 예제에서는 사전 학습된 모델에 기반하여 영화 리뷰를 분류하는 작업에 미세 조

정을 수행했습니다. 또한

NLP

에서의 전이 학습은 사전 학습된 모델을 다양한 작업에 활용할

수 있다는 점이 영상처리와는 다르다고 강조했습니다.



language

model

은 텍스트의 다음 단어를 예측하는 모델입니다. 이런 작업을





self

-

supervised

learning

이라고도 하죠. 자가 지도 학습은 모델에 레이블을 제공하지 않아도 수

많은 텍스트를 넣어주기만 하면 모델은 자동으로 데이터에서 레이블을 알아냅니다. 이 작업

은 결코 쉽지 않습니다. 예를 들어 문장의 다음 단어를 예측하려면 영어 (또는 다른 언어 )에 대

한 이해를 구축해야 하기 때문이죠. 자가 지도 학습은

NLP

외의 분야에서도 활용되곤 합니

다. 컴퓨터 영상 처리 분야에 적용한 사례는 「

Self

-

Supervised

Learning

and

Computer

Vision

(

https

://

oreil

.

ly

/

ECjfJ

)」을 참고하세요. 자가 지도 학습은 보통 직접 학습된 모

델에는 사용하지 않고, 전이 학습에 사용될 모델을 사전 학습하는 데 사용하곤 합니다. ...