
223
7
장
사이파이 함수 최적화
‘무엇이 새로운가?’는 흥미롭고도 시야를 넓혀주는 불멸의 질문이기는 하지만, 이 문제에
대한 답을 배타적인 입장에서 추구하는 경우 다만 끊임없이 이어지는 일련의 지엽적이고
하찮은 것들과 유행들, 이를테면 내일의 침전물들밖에 쌓이지 않는다. 대신 폭보다는 깊
이와 관련되는 질문, 또한 그 질문에 대한 답으로 인해 침전물을 아래쪽으로 쓸어버릴 수
있는 질문인 ‘무엇이 최선인가?’에 대해 나는 관심을 갖고자 한다.
- 로버트
M
. 피어시그, 『선
禪
과 모터사이클 관리술』 (문학과지성사,
2010
)
벽에 액자를 똑바로 거는 일은 어렵다. 액자를 걸고 뒤로 물러나서 수평이 잘 맞는지 확인한
후, 다시 정렬을 반복한다. 액자를 똑바로 정렬하는 일은 최적화 과정이다. 이번 장에서는 사진
에서 인물의 수평이 맞을 때까지 방향을 변경하는 예제를 살펴본다.
수학에 비유하자면 인물의 수평을 맞추는 일을 ‘비용함수
cost
function
’라고 하며, 인물의 방향은
‘매개변수
parameter
’다. 일반적인 최적화 문제에서 비용함수를 최소화할 때까지 매개변수를 변경
한다.
예를 들면 이동된 포물선 함수
f
(
x
) = (
x
-
3
)
2
가 있다. 이 비용함수의 최솟값
x
를 찾는다고
하자. 미분을 계산하면
f
’
(
x
) =
0
에서
2
(
x
-
3
) =
0
이기 ...