AI를 위한 필수 수학

133

Chapter 3 -

데이터에 함수를 최적화시키는 방법

cost

log , 1

log 1 , 0

log 1 log 1

sy

sy

ysy s

tru

tru

true true

e

e

=

-=

-- =

=- - - -

v

v

vv

Q

QQ

Q

QQ Q Q Q

V

V

V

V

VV V VV

G

J

일 때

일 때

ww www

yw y

m

log log

x xxLw x

1

11

0

i

m

n

ii

n

i

n ntrue

ii

true

i

11 1

1

01

ggvv

=- + ++ +- - + ++

=

v

Q

QQ Q Q Q

V

VV V VV

/

NOTE

로지스틱 함수와 소프트맥스 함수 그리고 통계역학

통계역학에 익숙하다면 로지스틱 함수와 소프트맥수 함수가 통계역학 분야의 분배 함수

67

와 같은 방식이라

는 것을 눈치챘을 것이다. 분배 함수는 특정 상태의 시스템을 찾을 확률을 계산한다. 분배 함수가 확률을 계

산하는 방식과 로지스틱 함수와 소프트맥스 함수가 확률을 계산하는 방식은 동일하다.

3.5.2

손실 함수

로지스틱 회귀 식을 사용하여 크로스 엔트로피 손실 함수 식을 유도한다.

이제 동일한 논리를 여러 클래스에 대한 것으로 일반화해보자. 특정 데이터 포인트가

i

번째 클

래스에 속하면

y

true

,

i

=

1

, 그렇지 않으면

y

true

,

i

=

0

으로 표기할 것이다. 그러면 특정 데이터 포인

트가 잘못 분류되었을 때 발생하는 비용은 다음과 같다.

cost

log s , y 1

log s