AI를 위한 필수 수학

156

AI

를 위한 필수 수학

신경망을 위한 최적화

나는 매일매일을 최적화하며 살아왔다...

첫 번째 깨달음의 순간은 우리의 뇌도 세상의 모델을 학습한다는

사실을 알게 되었을 때였다.

다양한 인공 신경망에는 완전 연결된 층

fully

connected

layer

이 있다.

Chapter

4

에서는 완전 연결된

신경망이 수학적으로 어떻게 작동하는지 알아보고 실제 데이터셋을 사용하여 데이터 입력의

첫 단계부터 출력까지 한 번에

end

-

to

-

end

모델링하는 예시를 살펴본다.

또 다양한 훈련 함수와 손실 함수를 설계하고 실험해본다. 신경망을 훈련시킬 때 사용되는 최

적화 방법과 역전파 과정이 우리 뇌에서 학습이 일어나는 방식과 유사하다는 점도 짚어본다.

우리 뇌는 이전에 본 개념을 다시 마주하면 뉴런 연결을 강화하고 이전에 학습한 개념과 모순

되는 새로운 정보를 학습하면 그 연결을 약화시키는 방식으로 학습한다. 기계의 경우 숫자만

이해한다. 수학적으로 보면 강한 연결은 더 큰 숫자에, 약한 연결은 더 작은 숫자에 해당된다.

마지막으로 다양한 정규화 기법을 살펴보고 각각의 장단점과 활용 사례를 알아본다.

4.1

대뇌 피질과 인공 신경망

신경망은 수십억 개의 뉴런이 계층 구조로 있는 대뇌 피질을 모델로 삼았다. [그림

4

-

1

]은 대

4

Chapter

157

Chapter 4 -