파이토치로 배우는 LLM & AI

207

7

장

자연어 처리를 위한 순환 신경망

각 타임 스텝의 뉴런을

F0

,

F1

,

F2

라고 가정해 보죠. 타임 스텝의 방향에 따라

F1

의 정방향 계

산은

F1

(->)

이고 역방향 계산

(<-)

F1

입니다. 이 값을 모아서 해당 타임 스텝의

y

값을 만듭

니다. 또한 셀 상태도 양방향입니다. 이는 문장에 있는 문맥을 다룰 때 매우 유용할 수 있습

니다. ‘

I

lived

in

Ireland

,

so

in

high

school

I

had

to

learn

how

to

speak

and

write

<

something

>’ 문장을 다시 생각해 보면, 문맥 단어 ‘

Ireland

’ 의해 ‘<

something

>’이 ‘

Gaelic

’

임을 유추할 수 있습니다. 하지만 다음 문장처럼 문맥 단어가 반대 방향이면 어떻게 될까요?

‘

I

lived

in

<

this

country

>,

so

in

high

school

I

had

to

learn

how

to

speak

and

write

Gaelic

.’ ‘<

this

country

>’가 무엇인지 유추하려면 역방향으로 문장을 학습해야 합니다. 따라

서 양방향

LSTM

을 이용하면 문장의 감성을 매우 잘 이해할 수 있습니다(

8

장에서 살펴보겠지

만 텍스트를 생성하는 데에도 매우 뛰어납니다 ).

물론

LSTM

, 특히 양방향

LSTM

은 많은 연산을 수행하므로 훈련 ...