AI를 위한 필수 수학

200

AI

를 위한 필수 수학

그리고

W

h 1+

에 대한 미분은 다음과 같다.

w

W

L

s LW s

h

h

h

t

hh

0

1

1

1

2

2

+=

+

+

+

l

vv

Q

Q

V

V

L LW fWs w w

hh h1

00

1

= ++

-+hh1+

vv

Q QQ

VV V

s

h

v

는 마지막 층의 출력이므로 이전 층의 모든 가중치에 따라 그 값이 달라진다는 점을 기억하

자. 즉, 이 값은

,,,, ,Ww WwWw

hh

00

221

0

1

g

vv v

Q

V

에 따라 달라진다.

마지막 은닉 층을 가리키는 가중치에 대한 미분을 계산하기 위해 가중치를 손실 함수의 식에

명시적으로 나타낸다.

w

L

W f Ws w L W fWs w w1

h

hh hh h

0

1

0

1

00

1

2

2

= + ++

- -+

h hh1+h 1+

ll

v

v

vv vv

Q

Q Q QQ

V

V

VV V

W

L

s W f Ws w L W fWs w w

h hh h hh h h11

0

1

00

1

2

2

= + ++

- - -+

h

hh11++

ll

v vv vv

Q

Q Q QQ

V

V

VV V

그러면

w

h

0

v

에 대한 미분은 다음과 같다.

그리고

W

h

에 대한 미분은 다음과 같다.

s

h 1-

v

은 마지막 은닉 층 이전의 은닉 층의 출력

95

이므로 이보다 더 이전 층의 모든 가중치

,, ,,, ,WwWw W w

hh

0

1

0

21

0

1

g

--12

vv v

Q

V

에 의존한다는 것을 기억하자.

입력 층에 도달할 때까지 이 과정을 계속 진행한다.

4.8

입력 데이터 피처의 중요도 평가

데이터 ...