다. 무엇이 다르고, 또 공통되는 성질이라 할 만한 것은 무엇인가요? 곰곰이 생각해보세요.
그림
3-8
계단 함수(점선)와 시그모이드 함수(실선)
[그림
3
-
8
]을 보고 가장 먼저 느껴지는 점은 ‘매끄러움’의 차이일 것입니다. 시그모이드 함수
는 부드러운 곡선이며 입력에 따라 출력이 연속적으로 변화합니다. 한편, 계단 함수는
0
을 경
계로 출력이 갑자기 바뀌고 있습니다. 시그모이드 함수의 이 매끈함이 신경망 학습에서 아주
중요한 역할을 하게 됩니다.
(역시 매끈함과 관련되지만) 계단 함수가
0
과
1
중 하나의 값만 돌려주는 반면 시그모이드 함
수는 실수(
0
.
731
...,
0
.
880
... 등)를 돌려준다는 점도 다릅니다. 다시 말해 퍼셉트론에서는 뉴
런 사이에
0
혹은
1
이 흘렀다면 신경망에서는 연속적인 실수가 흐릅니다.
비유하자면, 계단 함수는 ‘시시오도시’
*
이고 시그모이드 함수는 ‘물레방아’와 비슷하죠. 계단 함
수는 시시오도시처럼 물을 쏟아내거나 쏟아내지 않는(
0
또는
1
) 두 가지 움직임을 보여주며,
시그모이드 함수는 물레방아처럼 흘러온 물의 양에 비례해 흐르는 물의 양을 조절합니다.
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.