파이토치로 배우는 LLM & AI

204

1

부

모델 구축

특정 타임 스텝

time

step

에 함수

F

에 주입되는 값

x

를 일반적으로

x

t

라고 씁니다. 이 타임 스텝에

출력되는

y

를

y

t

라고 씁니다. 또한 이 함수는 다음 스텝으로 전달되는 값을 만듭니다. 그림에서

F

자기 자신으로 향하는 화살표가 여기에 해당됩니다.

[그림

7

-

5

]처럼 순환 뉴런을 타임 스텝에 걸쳐 나란히 나열하면 작동 방식이 조금 더 명확해집

니다.

3

그림

7-5

타임 스텝에 걸쳐 펼친 순환 뉴런

여기에서

x

0

를 연산에 사용해

y

0

와 다음 타임 스텝으로 전달되는 값을 얻습니다. 다음 스텝에서

이 값과

x

1

을 받아

y

1

과 다음 타임 스텝으로 전달되는 값을 만듭니다. 그다음 스텝은 이 값과

x

2

를 받아

y

2

와 다음 타임 스텝으로 전달되는 값을 만드는 방식으로 계속 진행됩니다. 피보나치

수열과 진행 과정이 매우 유사하므로

RNN

의 작동 방식을 기억할 때 피보나치 수열을 연상하

면 쉽게 떠올릴 수 있을 겁니다.

7.2

순환을 언어로 확장하기

이전 절에서 여러 타임 스텝에 걸쳐 순환 신경망이 시퀀스의 문맥을 유지하는 데 어떻게 도움

이 될 수 있는지 보았습니다. 이 책 뒷부분에서 시퀀스 모델링에

RNN

을 사용해 봅니다. [그

림

7

-

4

]와 [그림

7

-

5

]의 간단한

RNN

을 사용할 경우 언어에서 놓칠 수 있는 미묘한 특징(뉘

앙스 )이