fastai와 파이토치가 만나 꽃피운 딥러닝

509

12



밑바닥부터 구현하는 언어 모델

그러면 정규화를 더 만들어낼 수 있습니다. 드롭아웃 다섯 개(출력 계층 전의 드롭아웃 포함)

를 미세 조정하기란 복잡한 일이므로 적절한 디폴트값을 미리 정해두었습니다. 그리고

10

장에

서 본 대로 전체적인 드롭아웃의 크기는

drop

_

mult

인잣값으로 조정할 수 있습니다 (모든 드

롭아웃에 같은 값을 곱합니다 ).

특히 ‘시퀀스에서 시퀀스’ 문제 (언어 번역처럼, 종속변수 자체의 길이가 가변적인 문제 )에 매

우 강력한 다른 구조로는 트랜스포머

Transformers

가 있습니다. 이에 관한 내용은 책의 웹사이트에

서 제공하는 보너스 장을 참고하세요.

12.8



1

프로젝트 데이터셋이 너무 크고 복잡해서 작업에 시간이 오래 걸릴 때는 무엇을 해야 하나요?

2

언어 모델을 만들기 전 데이터셋의 문서를 이어 붙이는 이유는 무엇인가요?

3

표준적인 완전 연결 신경망을 사용해서, 앞서 다룬 세 단어로 네 번째 단어를 예측하려면 모델에 어떤 두 가

지 변화를 줘야 할까요?

4

파이토치에서 여러 계층이 가중치 행렬을 공유하려면 어떻게 해야 하나요?

5

수록된 코드를 보지 않고 두 단어로 세 번째 단어를 예측하는 모듈을 작성해보세요.

6

순환 신경망 (

RNN

)이란 무엇인가요?

7

은닉 상태란 무엇인가요?

8

LMModel1

의 은닉 상태와 무엇이 동등한가요?

9

RNN

에서 상태를 유지를 위해 모델로 텍스트를 순서대로 전달해야 하는 이유는 무엇인가요?

10

RNN

에서 ‘펼치다’라는 ...