
第 3章 神经网络
48
另一个不同点是,相对于阶跃函数只能返回0 或 1,
sigmoid
函数可以返
回 0.731
...
、0.880
...
等实数(这一点和刚才的平滑性有关)。也就是说,感
知机中神经元之间流动的是0 或 1的二元信号,而神经网络中流动的是连续
的实数值信号。
如果把这两个函数与水联系起来,则阶跃函数可以比作“竹筒敲石”
A
,
sigmoid
函数可以比作“水车”。阶跃函数就像竹筒敲石一样,只做是否传送
水(0 或1)两个动作,而
sigmoid
函数就像水车一样,根据流过来的水量相应
地调整传送出去的水量。
接着说一下阶跃函数和
sigmoid
函数的共同性质。阶跃函数和
sigmoid
函数虽然在平滑性上有差异,但是如果从宏观视角看图 3
-
8,可以发现它们
具有相似的形状。实际上,两者的结构均是“输入小时,输出接近 0(为 0);
随着输入增大,输出向 1 靠近(变成 1)”。也就是说,当输入信号为重要信息时,
阶跃函数和
sigmoid
函数都会输出较大的值;当输入信号为不重要的信息时,
两者都输出较小的值。还有一个共同点是,不管输入信号有多小,或者有多
大,输出信号的值都在0 到 1之间。
3.2.6
非线性函数
阶跃函数和
sigmoid
函数还有其他共同点,就是两者均为非线性函数。
sigmoid
函数是一条曲线,阶跃函数是一条像阶梯一样的折线,两者都属于
非线性的函数。
在介绍激活函数时,经常会看到“非线性函数”和“线性函数”等术语。
函数本来是输入某个值后会返回一个值的转换器。向这个转换器输
入某个值后,输出值是输入值的常数倍的函数称为线性函数 ...