밑바닥부터 시작하는 딥러닝

190

밑바닥부터 시작하는 딥러닝

방법인데 (비록 이름은 어렵지만 ), 매개변수 공간을 무작정 찾는 것보다 ‘똑똑한’ 방법입니다.

SGD

는 단순하지만, (문제에 따라서는 )

SGD

보다 똑똑한 방법도 있답니다. 지금부터

SGD

의

단점을 알아보고

SGD

와는 다른 최적화 기법을 소개하려 합니다.

6.1.1

모험가 이야기

본론으로 들어가기 전에, 최적화를 해야 하는 우리의 상황을 모험가 이야기에 비유해보겠습

니다.

색다른 모험가가 있습니다. 광활한 메마른 산맥을 여행하면서 날마다 깊은 골짜기를 찾

아 발걸음을 옮깁니다. 그는 전설에 나오는 세상에서 가장 깊고 낮은 골짜기, ‘깊은 곳’을

찾아가려 합니다. 그것이 그의 여행 목적이죠. 게다가 그는 엄격한 ‘제약’

2

개로 자신을

옭아맸습니다. 하나는 지도를 보지 않을 것, 또 하나는 눈가리개를 쓰는 것입니다. 지도

도 없고 보이지도 않으니 가장 낮은 골짜기가 광대한 땅 어디에 있는지 알 도리가 없죠.

그런 혹독한 조건에서 이 모험가는 어떻게 ‘깊은 곳’을 찾을 수 있을까요? 어떻게 걸음을

옮겨야 효율적으로 ‘깊은 곳’을 찾아낼 수 있을까요?

최적 매개변수를 탐색하는 우리도 이 모험가와 같은 어둠의 세계를 탐험하게 됩니다. 광대하고

복잡한 지형을 지도도 없이 눈을 가린 채로 ‘깊은 곳’을 찾지 않으면 안 됩니다. 척 봐도 어려운

문제임이 느껴질 거에요.

이 어려운 상황에서 중요한 단서가 되는 것이 땅의 ‘기울기’입니다. 모험가는 주위 경치는 볼 수

없지만 지금 서 있는 땅의 기울기는 알 수 있습니다. ...