파이토치로 배우는 LLM & AI

212

1

부

모델 구축

# 두 번째 LSTM 층

# 주의: 첫 번째 LSTM이 양방향이므로 입력 크기는 hidden_dim*2입니다.

self.lstm2 = nn.LSTM(

input_size=hidden_dim * 2,

hidden_size=hidden_dim,

num_layers=lstm_layers,

batch_first=True,

bidirectional=True

)

임베딩 층 앞에 있으므로 첫 번째 층의

input

_

size

는 임베딩 차원입니다. 그다음 두 번째

LSTM

의 입력 크기는

(

hidden

_

dim

*

2

)

입니다. 이는 양방향인 첫 번째

LSTM

이 해당 크기

의 출력을 만들기 때문입니다.

모델 구조는 다음과 같습니다.

==========================================================================

Layer (type:depth-idx) Output Shape Param #

==========================================================================

TextClassificationModel [32, 1] --

├─Embedding: 1-1 [32, 85, 7] 14,000

├─LSTM: 1-2 [32, 85, 48]