AI를 위한 필수 수학

196

AI

를 위한 필수 수학

●

경사 하강법에서 학습률

●

ridge

,

lasso

, 엘라스틱넷 정규화의 가중치 감소 계수

●

훈련을 중단하기까지의 에포크 수

●

훈련 데이터셋, 검증 데이터셋, 테스트 데이터셋의 크기

●

확률적 경사 하강법 (및 그 변형)에서 미니배치의 크기

●

모멘텀 방법에서 가속 계수

●

신경망의 구조

-

층 수

-

각 층의 뉴런 수

-

각 층에서 일어나는 일들 (배치 정규화, 활성화 함수 유형)

-

정규화 유형 (드롭아웃,

ridge

,

lasso

)

-

신경망 유형 (순방향

feedforward

, 밀집, 합성곱, 적대적, 순환 )

-

손실 함수 유형

4.7

연쇄 법칙과 역전파

이제 중요한 것을 계산해볼 시간이다. 손실 함수의 미분

Lw

i

d

v

Q

V

를 계산해보자. 최적의 가중

치를 찾기 위해 경사 하강법, 확률적 경사 하강법, 미니배치 경사 하강법, 그 밖의 다른 변형 등

어떤 경사 하강법을 사용하든 계산 과정을 피할 수는 없다. 손실 함수 식에는 훈련 함수가 포함

되며 훈련 함수는 다시 활성화 함수와 선형 조합으로 구성된다. 이는 연쇄 법칙을 영리하게 사

용해야 한다는 뜻이다. 지금까지 미적분학에서 단일 변수 연쇄 법칙만 사용했지만 이제는 여러

변수, 때로는 수십억 개의 변수에 대한 연쇄 법칙을 적용해야 한다.

신경망의 계층적 구조는 손실 함수의 미분 값을 정확히 어떻게 계산할 것인지 고민하게 만든

다. 이 문제를 해결하는 가장 중요한 도구는 역전파 알고리즘

backpropagation

algorithm

(역방향 자동

미분

backward

mode ...