AI를 위한 필수 수학

134

AI

를 위한 필수 수학

1

log

log

log

m

y ww w

y ww w

y ww w

Lw x x

xx

xx

,1

1

0

1

1

11

,2

2

,

true

i

i

m

true

i

true k

i kk k

i

nn

i

i

nn

i

i

nn

i

1

0

2

1

2

1

0 11

-+

+

v

v

v

g

gg

g

= ++

+ ++ +

+ + ++

=

v

Q

Q

Q

Q

Q

QQ

V

V

V

V

V

VV

/

3.5.3

최적화

이제 손실 함수에 대한 식을 구했으므로 이를 최소화하는

w

를 찾을 수 있다. 대부분의 손실 함

수와 마찬가지로 훈련 데이터셋과 레이블을 모두 활용해 손실 함수를 최소화하는 명확한 공식

이 없기 때문에 경사 하강, 확률적 경사 하강, 미니배치 경사 하강과 같은 수치적 방법을 사용

해야 한다 (이 내용은 <

Chapter

4

신경망을 위한 최적화>에서 다룬다 ). 일반화된 크로스 엔트

로피 손실 함수는 볼록하므로 반드시

w

를 찾을 수 있다는 점을 기억하자.

NOTE

크로스 엔트로피와 정보 이론

크로스 엔트로피 개념은 정보 이론

information

theory

에서 차용한 것이다. 의사 결정 트리에 관해 설명할 때 자세히

설명할 것이며, 지금은 다음 식을 알아두면 된다. 여기서

p

는 사건이 발생할 확률이다.

log log

p

p

1

=-

S

Q

X

V

이 값은

p

가 작을 때 커진다. 즉, 발생할 확률이 낮은 사건에 대한 놀라움을 정량화한다.

3.6

신경망의 마지막 층에 모델 통합하기

선형 회귀 모델은 ...