밑바닥부터 시작하는 딥러닝

129

4

장

-

신경망 학습

기울기 그림은 [그림

4

-

9

]처럼 방향을 가진 벡터(화살표)로 그려집니다. 이 그림을 보면 기울

기는 함수의 ‘가장 낮은 장소(최솟값)’를 가리키는 것 같습니다. 마치 나침반처럼 화살표들은

한 점을 향하고 있지요. 또 ‘가장 낮은 곳’에서 멀어질수록 화살표의 크기가 커짐을 알 수 있습

니다.

그림

4-9

f

(

x

0

,

x

1

) =

x

0

2

+

x

1

2

의 기울기

[그림

4

-

9

]에서 기울기는 가장 낮은 장소를 가리킵니다만, 실제는 반드시 그렇다고는 할 수

없습니다. 사실 기울기는 각 지점에서 낮아지는 방향을 가리킵니다. 더 정확히 말하자면

기울기

가 가리키는 쪽은 각 장소에서 함수의 출력 값을 가장 줄이는 방향

입니다. 이건 중요한 포인트이니 확실

히 기억하세요!

4.4.1

경사법(경사 하강법)

기계학습 문제 대부분은 학습 단계에서 최적의 매개변수를 찾아냅니다. 신경망 역시 최적의 매

개변수 (가중치와 편향 )를 학습 시에 찾아야 합니다. 여기에서 최적이란 손실 함수가 최솟값이

될 때의 매개변수 값입니다. 그러나 일반적인 문제의 손실 함수는 매우 복잡하죠. 매개변수 공

간이 광대하여 어디가 최솟값이 되는 곳인지를 알아내기가 만만치 않습니다. 이런 상황에서 기

울기를 잘 이용해 함수의 최솟값 (또는 가능한 한 작은 값)을 찾으려는 것이 경사법입니다.