fastai와 파이토치가 만나 꽃피운 딥러닝

589

15



애플리케이션 구조 깊게 살펴보기

데이터 증강 없이 같은 방식으로 훈련된 분류 모델의 에러율이

7

%인 점을 고려하면,

94

.

8

%는

꽤 좋은 결과입니다.

지금까지 완전한 최신 영상 처리 모델을 만드는 방법을 알아봤습니다. 다음은

NLP

를 살펴볼

차례입니다.

15.2



10

장에서는

AWS

-

LSTM

언어 모델을 전이 학습에 사용하여 분류 모델을 만들었습니다. 사실

이 과정은 이번 장의 첫 번째 절에서 다룬

cnn

_

learner

와 매우 유사합니다. 다만 몸통으로 사

용할 구조가 많이 없으니 ‘메타’ 딕셔너리가 필요하지 않습니다. 파이토치가 단일 모듈로 제공

하는 스태킹된

RNN

을 언어 모델의 인코더 (몸통 )로 선택하면 되죠. 그러면 인코더는 입력된

모든 단어에 대한 활성을 제공합니다. 언어 모델은 다음 단어를 예측해야 하고, 결국 예측은 모

든 가능한 단어들의 활성값에 달려있기 때문입니다.

이로부터 분류 모델을 만들려면,

ULMFiT

논문 (

https

://

oreil

.

ly

/

3hdSj

)에서 언급한 ‘텍

스트 분류를 위한

BPTT

’를 사용해야 합니다.

문서를 크기 고정 길이

b

의 배치로 나눕니다. 각 배치의 시작에 모델은 이전 배치의 최종 상태로 초기

화됩니다. 평균과 최댓값 풀링에 대한 은닉 상태를 추적하며, 그레이디언트는 최종 예측에 기여한 은

닉 상태가 있는 배치로 역전파됩니다. 실제로는 가변 길이의 역전파 시퀀스를 사용합니다.

즉 분류 모델은

for

반복문으로 시퀀스의 각 배치에 접근합니다. 배치 간 상태가 잘 유지되고, ...