AI를 위한 필수 수학

199

Chapter 4 -

신경망을 위한 최적화

지에서만 계산된다. 이제 이 노드들이 언제 그리고 어떻게 신경망의 최종 결과에 기여하는지

확실하게 알 수 있기 때문에 계산 비용 측면에서 훨씬 더 경제적이다.

선형 대수학에서는 두 행렬의 곱셈을 계산하는 것보다 행렬과 벡터의 곱셈을 계산하는 비용

이 훨씬 더 적게 든다. 두 행렬을 서로 곱하는 것은 항상 피해야 한다.

A

(

Bv

)

와

(

AB

)

v

는 이론

적으로는 같지만

A

(

Bv

)

가 계산 비용이 더 적게 든다. 이 간단한 사실은 행렬과 벡터의 규모가

크면 클수록 더 많은 비용 절감을 할 수 있게 해준다.

4.7.3

역전파 자세히 알아보기

잠시 멈춰서 곧 살펴볼 역전파 계산 과정이 구현된 소프트웨어 패키지가 있다는 사실에 감사하

자. 덕분에 여러분은 직접 역전파 계산 과정을 구현할 필요가 없다. 이제 계산을 시작해보자.

은닉 층이

h

개인 신경망의 경우 손실 함수를 훈련 함수에 대한 함수로 쓸 수 있다. 이는 다시

신경망에 나타나는 모든 가중치에 대한 함수이다.

, ,,,, ,,,Ww WwW wL LgW w

hh h h

00

1

0

1221

0

1

g=

++

vv v v

QQ

VV

w

L

h 1

2

2

+

과

w

L

h

0

1

2

2

+

v

에서 시작하여

w

L

1

2

2

과

w

L

0

1

2

2

v

로 돌아가는 방식으로

L

의 편미분을 역순으로 계

산할 것이다. 이 미분은 각각 해당 행렬 ...