AI를 위한 필수 수학

176

AI

를 위한 필수 수학

NOTE

크로스 엔트로피 함수, 로그 가능도 함수, 쿨백-라이블러 발산

크로스 엔트로피 손실 함수를 최소화하는 것은 로그 가능도 함수

log

-

likelihood

function

를 최대화하는 것과 같고 확

률 분포에 대한 쿨백-라이블러 발산과 밀접한 관련이 있다. 크로스 엔트로피 함수는 정보 이론과 통계역학

에서 차용한 것으로, 데이터의 진짜(경험적) 분포와 신경망의 훈련 함수에 의해 생성된 분포(예측) 간의 크로

스 엔트로피를 정량화한다. 크로스 엔트로피 함수 공식에는 음의 부호와 로그 함수가 포함되어 있다. 함수를

음의 방향으로 최소화하는 것은 마이너스 부호를 제외한 함수를 최대화하는 것과 같다. 인공지능 분야를 계

속 공부하다 보면 때때로 다음과 같은 문장을 종종 보게 된다.

로그 가능도 함수를 최대화하는 것은 크로스 엔트로피 손실 함수를 최소화하는 것과 같다.

이와 밀접한 관련이 있는 개념은 쿨백-라이블러 발산이다. 이미지나 오디오를 생성하는 경우처럼 결정론적

함수가 아닌 확률 분포를 학습해야 하는 경우도 있다. 이때 손실 함수는 데이터의 진짜 확률 분포와 학습한

확률 분포 사이의 차이를 잡아내야 한다(이 수식은 거리 지표가 아니므로 거리라고 하지 않겠다). 쿨백-라이

블러 발산은 학습한 분포를 사용해 진짜 분포를 근사할 때, ...