AI를 위한 필수 수학

197

Chapter 4 -

신경망을 위한 최적화

활성화 함수가 있을 수도 없을 수도 있으며, 신경망의 최종 목적에 따라 출력 층에는 노드가 하나이거나 여

러 개일 수 있다.

●

손실 함수는 훈련 함수의 결과가 실제 값에서 얼마나 벗어났는지를 측정한다.

●

앞서 설명한 기본 초기화 규칙에 따라 임의의 가중치 집합

w

0

v

으로 훈련 함수를 초기화한다. 그리고 이 특정

가중치 값을 사용해 발생하는 손실 또는 오차를 계산한다. 이것이 바로 데이터 포인트가 신경망을 통과하는

순방향 전파이다.

●

오차가 더 작은 다음 가중치 집합

w

1

v

로 이동하려면 손실 함수의 기울기 벡터와 반대 방향으로 이동해야 한다.

●

신경망의 계층 구조와 높은 차원성을 생각해볼 때 손실 함수에 내장된 훈련 함수를 이용하여 다변수 연쇄 법

칙을 효율적으로 수행해 그래디언트를 찾은 다음 이를 현재의 가중치 집합에서 어떻게 평가할 수 있을까?

훈련 함수는 손실 함수에 포함되어 있다는 사실을 비롯하여 신경망 구조로 인한 훈련 함수의

계층적 구조와 높은 차원을 고려할 때 어떻게 다변수 연쇄 법칙을 효율적으로 수행하여 기울기

를 찾고 현재 가중치 집합에 대해 평가할 수 있을까?

이 질문의 답은 한 줄로 요약할 수 있다. 데이터 포인트를 신경망으로 다시 전달하여 출력 층

에서 입력 층까지 기울기를 ...