밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

Data Science

266

󻱴󽴔󽴔󺧴󺲻󺞬

self.sigmoids,

gradient)

몇 가지 유의할 점이 있다. 역전파를 위해 순방향에서 계산되는 시그모이드 값

을 모두 저장할 것이다. 앞으로 층의 순방향에서 계산되는 값은 대부분 저장할

것이다.

두 번째로

sig * (1 - sig) * grad

가 어디서 나왔는지 궁금할 것이다. 이 값

은

18

장에서 다룬 미적분과 연쇄법칙으로 계산된

output * (1 - output) *

(output - target)

이다.

마지막으로

tensor_apply

와

tensor_combine

함수를 사용했다. 앞으로 구현할

모든 층에서는 기본적으로 두 함수를 사용할 것이다.

19.3

선형 층

18

장에서 구현한 신경망을 기반으로 뉴런의

dot(weights, inputs)

를 나타내는

선형 층(

linear

layer

)을 구현할 수 있다.

선형 층의 초깃값은 임의로 생성할 것이다.

사실 임의로 파라미터의 초깃값을 설정하는 것은 매우 중요하다. 파라미터의

초깃값에 따라 신경망의 학습 속도가 (혹은 학습 여부 자체가) 결정된다. 만약

초깃값이 너무 크면 활성화 함수의 그래디언트는

0

에 가깝게 된다. 그래디언트

가

0

에 가까운 파라미터는 경사 하강법으로 학습을 할 수 없게 된다.

따라서 파라미터를 임의로 생생해 주는 세 가지 방법을