밑바닥부터 시작하는 딥러닝

75

3

장

-

신경망

두 함수의 공통점도 살펴볼까요? 두 함수는 ‘매끄러움’이라는 점에서는 다르지만, [그림

3

-

8

]

을 큰 관점에서 보면 둘은 같은 모양을 하고 있습니다. 둘 다 입력이 작을 때의 출력은

0

에 가

깝고 (혹은

0

이고 ), 입력이 커지면 출력이

1

에 가까워지는 (혹은

1

이 되는 ) 구조인 것이죠. 즉,

계단 함수와 시그모이드 함수는 입력이 중요하면 큰 값을 출력하고 입력이 중요하지 않으면 작

은 값을 출력합니다. 그리고 입력이 아무리 작거나 커도 출력은

0

에서

1

사이라는 것도 둘의 공

통점입니다.

3.2.6

비선형 함수

계단 함수와 시그모이드 함수의 공통점은 그 밖에도 있습니다. 중요한 공통점으로, 둘 모두는

비선형 함수

입니다. 시그모이드 함수는 곡선, 계단 함수는 계단처럼 구부러진 직선으로 나타나

며, 동시에 비선형 함수로 분류됩니다.

활성화 함수를 설명할 때 비선형 함수와 선형 함수라는 용어가 자주 등장합니다. 함수란 어떤 값을

입력하면 그에 따른 값을 돌려주는 ‘변환기’입니다. 이 변환기에 무언가 입력했을 때 출력이 입력의 상수배만

큼 변하는 함수를 선형 함수라고 합니다. 수식으로는

f

(

x

) =

ax

+

b

이고, 이때

a

와

b

는 상수입니다. 그래서

선형 함수는 곧은

1

개의 직선이 됩니다. 한편, 비선형 함수는 문자 그대로 ‘선형이 아닌’ ...