AI를 위한 필수 수학

411

Chapter 10 -

운용 과학

10.3

최적화: 운용 과학의 핵심

다시 최적화에 관한 주제로 돌아왔다. 머신러닝에서 결정론적 함수를 학습하는 모델의 경우 그

최적화는 손실 함수를 최소화하는 것이고, 확률 분포를 학습하는 모델의 경우라면 확률 함수를

최대화하는 것이다. 데이터와 정확히 일치하는 솔루션은 한 번도 보지 못한 데이터에 대해 일

반화가 잘 이루어지지 않기 때문에 이는 우리가 원하는 목표가 아니다. 따라서 정규화 방법과

조기 종료

early

stopping

등의 방법이 함께 사용된다. 머신러닝에서는 사용 가능한 데이터, 즉 데이

터의 출처가 되는 결정론적 함수나 확률 분포 (데이터 생성 규칙 또는 프로세스 )를 사용하여 모

델을 학습한 다음 이 학습된 함수나 분포를 사용해 추론을 수행한다. 정규화 조건이 있든 없든

손실 함수를 최소화하는 것은 최적화 과정의 한 단계일 뿐이다. 머신러닝에서 등장하는 손실

함수는 일반적으로 미분 가능하고 비선형적이며 최적화에 제약 조건이 없다. 애플리케이션에

따라 제약 조건을 추가하여 최적화 과정을 원하는 영역으로 유도할 수 있다.

최적화 방법에는 머신러닝에서 가장 많이 쓰이는 경사 하강 (확률적 경사 하강,

Adam

등)과

같은 목적함수

fx

v

Q

V

의 도함수를 계산하는 과정이 포함될 수도 있고 아닐 수도 ...