개발자를 위한 필수 수학

193

5

장

선형 회귀

하지만 일부 데이터에 선형 회귀를 적용하고 이를 통해 몇 가지 예측을 하고 나서 모든 것이 정

상이라고 생각할 수는 없습니다. 선형 회귀는 단순하지만 입력 변수가 많으면 쉽게 과대적합될

수 있습니다. 따라서 과대적합과 과소적합을 모두 확인하고 둘 사이에 있는 최적의 지점을 찾

아야 합니다. 만약 이런 지점이 전혀 없다면 모델을 포기해야 합니다.

5.5

확률적 경사 하강법

머신러닝 작업에서 앞에서와 같은 방식으로 경사 하강법을 수행하지는 않을 것입니다. 즉, 한

번에 모든 훈련 데이터를 사용해 훈련하지 않습니다 (이를

배치 경사 하강법

batch

gradient

descent

이라

부릅니다 ). 실제로는 각 반복마다 데이터셋에 있는 표본 하나만 사용해 훈련하는

확률적 경사

하강법

stochastic

gradient

descent

을 수행할 가능성이 더 많습니다.

미니배치 경사 하강법

mini

-

batch

gradient

descent

은 각 반복마다 데이터셋에 있는 여러 개의 표본 (

예

10

개 또는

100

개 데이터 포인트)을

사용합니다.

각 반복에서 데이터의 일부만 사용하는 이유는 무엇일까요? 머신러닝 실무자들이 꼽는 몇 가

지 이점은 다음과 같습니다. 첫째, 각 반복이 전체 훈련 데이터셋을 처리할 필요 없이 일부만

처리하기 때문에 계산량이 크게 ...