fastai와 파이토치가 만나 꽃피운 딥러닝

208

2



fastai 애플리케이션 계층 이해하기

4.4.1



학습의 마법은 그레이디언트를 계산할 때 일어납니다. 앞서 미적분을 사용하여 성능 최적화를

한다고 언급했습니다. 파라미터값을 크거나 작게 조정할 때 손실이 커지거나 작아지는지를 더

빠르게 계산할 수 있기 때문이죠. 즉 그레이디언트는 모델이 더 나아지려면 갱신해야 할 가중

치의 정도를 알려줍니다.

고등학교 미적분 수업을 들어봤다면, 함수의 미분이 파라미터의 변화에 따라 결과가 얼마나 변

화하는지를 알려준다는 점을 기억할 것입니다. 만약 기억하지 못하더라도 걱정하지는 마세요.

졸업 후 고등학교 미적분 내용을 기억하는 사람은 많지 않습니다! 그렇지만 계속 내용을 진행

하기 전에 직관적으로 미분의 의미를 이해해야 합니다. 기억이 흐릿하거나 이런 말들이 머릿속

을 복잡하게 만든다면, 칸 아카데미의 ‘미분 기본 강의(

https

://

oreil

.

ly

/

nyd0R

)’를 들어

보기 바랍니다. 미분을 계산하는 방법까지는 알지 못해도 됩니다. 미분이 무엇인지 파악하기만

해도 충분합니다.

미분의 핵심은 이러합니다. 앞서 본

2

차 함수를 포함한 어떤 함수도 미분을 계산할 수 있습니

다. 미분 또한 함수이며 값 자체를 계산하지 않고 값의 변화 정도를 계산합니다. 가령 값이

3

인

지점에서

2

차 함수에 대한 미분은 값

3

에서

2

차 함수가 얼마나 빠르게 변화하는지를 알려줍니

다. 그레이디언트가









으로 정의된다는 사실을 상기해봅시다. 즉 파라미터

값의 변화로 함숫값의 변화를 나눕니다. ...