深度學習｜內行人的做法

72

|

第二章：神經網路和深度學習基礎

了解

S

型函數的輸出

S 型激活函數輸出的是每一種類別各自的獨立機率。

tanh 函數

tanh（雙曲正切，發音為「

tanch

」）函數是一種雙曲三角函數（參見圖 2-13）。正切

（tan）代表的是直角三角形對邊與鄰邊之間的比率，而雙曲正切（tanh）代表的則是雙

曲正弦與雙曲餘弦之間的比率：tanh(x) = sinh(x)/cosh(x)。與 S 型函數不同的是，tanh

函數的歸一化範圍（normalized range）是從 1 到 1。tanh 函數的優點就是，它可以更

輕鬆地處理負數的情況。

圖 2-13　tanh 激活函數

硬 tanh 函數

硬 tanh 函數跟 tanh 函數有點像，不過它實際上就只是在歸一化範圍上套用一個「硬」

設定的極值而已。只要是超過 1 的數，全都會被設為 1，而所有小於 1 的數，則會被設

為 1。這個做法可以設定有限的決策邊界，因此可以讓激活函數更穩健而強固。