밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

Data Science

120

󻱴󽴔󽴔󺆌󻕻󽴔󼨧󺃤󻅤

assert 19.9 < slope < 20.1, "slope should be about 20"

assert 4.9 < intercept < 5.1, "intercept should be about 5"

이 예시에서는

SGD

가 훨씬 적은 에폭 안에서 최적의 파라미터를 찾아낸다. 하

지만 미니배치 경사 하강법과

SGD

는 각각의 장단점이 있다. 미니배치 경사 하

강법은 더 오래 걸리겠지만,

SGD

의 경우 특정 데이터 포인트의 그래디언트와

데이터셋 전체의 그래디언트의 방향이 서로 상반될 수도 있는 단점이 있다.

만약 그래디언트를 계산해 주는 함수를 직접 만들어서 사용하지 않을 것이라

면 배치를 벡터화해서 그래디언트를 계산하는 것이 에폭별로 각 데이터 포인트

의 그래디언트를 하는 것보다 빠를 것이다.

앞으로 이 책에서는 다양한 방법으로 최적의 배치 크기와 이동 거리를 찾아볼

것이다.

 다양한 경사 하강법 관련 용어들은 아직 정립되지 않았다. 데이터셋 전체에서 매번 그래디

언트를 계산하는 방식을

배치 경사 하강법

(batch gradient descent)이라고 하거나 미니

배치 경사 하강법을 SGD라고 표현하는 사람들 또한 종종 있다.

8.7

더 공부해 보고 싶다면

· 계속 읽어 나가자! 이 책에서 문제를 풀면서 경사 하강법을 ...