AI를 위한 필수 수학

160

AI

를 위한 필수 수학

다. 인공 신경망에 대한 수학적 분석은 다른 모델들과 나란히 두고 보면 비교적 새로운 분야다.

아직 해답을 찾아야 할 질문이 많고 발견해야 할 것들이 많다. 함께 살펴보며 그 과정을 탐구해

보자.

4.2.1

계산 그래프로 표현된 훈련 함수

[그림

4

-

3

]의 신경망과 같이 단지

5

개의 뉴런만 가졌더라도 훈련 함수 식을 쓰는 것은 꽤 복잡

하다. 그렇기 때문에 계산 그래프를 사용하여 신경망을 체계적이고 쉬운 방식으로 표현한다.

그래프는 노드

node

와 엣지

edge

로 구성된다 (그래프 이론 수업에서 첫 번째로 배우는 내용이다).

신경망에서

m

층의 노드

i

와

n

층의 노드

j

를 연결하는 엣지에는 가중치

w

mn

,

ij

가 할당된다. 즉,

하나의 엣지에

4

개의 인덱스가 부여된다! 인덱스의 깊은 바다에 빠질 위험을 무릅쓰고 신경망

의 가중치를 행렬로 구성해보자.

그림

4-3

5

개의 뉴런이

3

개의 층으로 배열된 완전 연결(또는 밀집) 순전파 신경망이다. 첫 번째 층(가장 왼쪽에 있는

3

개의 검은 점)은 입력 층, 두 번째 층은

3

개의 뉴런으로 구성된 유일한 은닉 층, 마지막 층은

2

개의 뉴런으로 구성된 출

력 층이다.

순전파 완전 연결 신경망의 훈련 함수를 모델링해보자. 순전파

feed

forward

란 신경망의 훈련 함수

를 나타내는 계산 그래프를 통해 ...