AI를 위한 필수 수학

308

AI

를 위한 필수 수학

하면서 궁극적으로는 메모리 기능을 생성한다. 이 알고리즘은 자동 완성 및 문법 검사에서 높

은 성능을 나타낸다. 이런 구조를 활용해

2018

년

Gmail

의 스마트 작성 기능이 개발되었다.

7.10.1

순환 신경망의 훈련 메커니즘

레이블이 매겨진 데이터 샘플에서 순환 신경망이 어떻게 훈련되는지 단계별로 알아보자. 각 데

이터 샘플은 일련의 토큰들과 레이블로 구성된다. 언제나 그랬듯이 신경망의 목표는 특정 레

이블 (또는 출력)을 생성하는 데 기여하는 데이터 내의 일반적인 특징과 패턴을 학습하는 것이

다. 각 샘플의 토큰들이 순차적으로 입력될 때 전체 데이터 샘플 안에서 특정 토큰에 상대적으

로 뚜렷하게 나타나는 패턴과 특징을 탐지하는 것이 우리의 목표이다.

1

데이터셋에서 토큰화되고 레이블이 있는 데이터 샘플 하나를 가져온다 (

예

‘긍정’ 레이블이 지정된 영화 리

뷰나 ‘가짜 뉴스’ 레이블이 지정된 트윗 ).

2

데이터 샘플의 첫 번째 토큰

token

0

을 신경망의 입력으로 주입한다. 여기서 토큰은 벡터화되어 있다는 것을

명심하자. 그래서 실제로는 숫자 벡터를 신경망에 입력하고 있는 것이다. 수학적으로 말하면, 해당 토큰 벡

터에서 함수를 평가하고 또 다른 벡터를 생성하는 것이다. 지금 이까지 이 신경망은

f

(

token

0

)

을 계산한 것 ...