AI를 위한 필수 수학

168

AI

를 위한 필수 수학

●

소프트플러스 함수

softplus

function

:

lnfz e1

z

=+

Q

Q

V

V

도함수 :

fz

e

z

1

1

z

v=

+

=

-

l

QQ

VV

여기서 다루는 모든 활성화 함수는 매우 기본적인 기능을 하는데 이는 장점이다. 신경망의 훈

련, 테스트, 배포 과정에서 수천 개의 파라미터 (가중치 )와 데이터 인스턴스를 활용하여 대량

의 계산을 수행하기 때문에 일반적으로 기본적인 기능을 하도록 유지하는 것이 좋다. 복잡한

기능을 하는 함수를 사용하면 계산 비용과 복잡도가 증가할 것이다.

이론적으로는 범용 함수 근사 정리

universal

function

approximation

theorem

에 의해 어떤 활성화 함수를 선

택하든 크게 중요하지 않다 (나중에 설명한다). 하지만 실무에서는 신경망 노드에 어떤 활성화

함수를 선택하는지가 매우 중요하다. 앞서 언급했듯이

AlexNet

이 이미지 분류 작업에서 성공

할 수 있었던 것은 부분적으로

ReLU

함수를 사용했기 때문이다. 겉으로 보기에는 이론과 실제

가 모순되는 것처럼 보이지만 그렇지 않다. 이 내용을 이어서 살펴보자.

4.2.4

범용 함수 근사

근사 정리는 매우 유용하다. 우리가 모르는 함수가 있거나 알고 있지만 계산하기 어려운 함수

가 있을 때, 수학적 확신과 권위를 가지고 이러한 함수를 아예 다루지 않아도 ...