밑바닥부터 시작하는 데이터 과학 데이터 분석을 위한 파이썬 프로그래밍과 수학·통계 기초

Data Science

252

󻱴󽴔󽴔󻞯󺆌󺺬

18.2

순방향 신경망

뇌의 구조는 어마어마하게 복잡하다. 따라서 인공신경망으로 뇌를 묘사할 때는

한 방향으로 연결된 개별

층(

layer

)으로 추상화하는 것이 일반적이다. 보통은 입

력값을 받아 그대로 다음 층으로 값을 전송하는 입력층(

input

layer

), 하나 이상

의 은닉층(

hidden

layer

) 그리고 최종값을 반환하는 출력층(

output

layer

) 등으

로 구성한다.

퍼셉트론과 마찬가지로 (입력층에 속하지 않은) 각 뉴런에는 가중치와 편향이

있다. 여기서는 표현을 단순하게 하기 위해 편향을 가중치 벡터의 끝에 덧붙인

후, 항상

1

의 값을 가지는 편향의 입력값을 각 뉴런에 전달하자.

또, 각 뉴런은 퍼셉트론과 마찬가지로 입력값과 가중치의 곱을 합한다. 하지

만 여기서는 그 값에

step_function

을 적용하는 것이 아니라, 조금 더 부드러운

모양을 가진 시그모이드(

sigmoid

) 함수를 적용해 볼 것이다(그림

18

-

2

).

import math

def sigmoid(t: float) -> float:

return 1 / (1 + math.exp(-t))

그림 18-2

󽴔󻞫󺋇󺽷󻱃󺦫󽴔󼨷󻛧

단순한

step_function

대신

sigmoid

를 사용하는 이유는 뭘까? 신경망을 학습하

기 위해서는 미적분을 써야 하고, ...