深度學習｜內行人的做法

激活函數

|

73

softmax 函數

softmax 函數是邏輯迴歸的一種通用化擴展，因為它可以應用於連續資料（而不只是二

元分類），而且可以包含多個決策邊界。它可以處理多標籤系統。softmax 函數應該是你

經常會在分類模型輸出層中看到的一種函數。

了解

Softmax

函數的輸出

softmax 激活函數會送出類別輸出的機率分佈，其中每個輸出類別彼此之

間全都是互斥的。

為了進一步說明 softmax 輸出層的構想以及使用方法，我們就來考慮兩個運用的例子。

如果我們有一個多類別模型化問題，但我們只關心這些類別中獲得最高分數的類別，

這時我們就可以使用 softmax 輸出層搭配

argmax()

函數，從所有類別中找出最高分數的

類別。

處理多種類別

如果我們希望每個輸出都能獲得多個類別的結果（例如「人 + 車 」）， 就

不會在輸出層採用 softmax 函數。在這種情況下，我們會使用 S 型輸出

層，它會針對每個類別獨立提供一個機率值。

如果我們擁有大量的標籤（例如有好幾千個標籤），這種情況下我們就會使用所謂的

「

分層

softmax

激活函數（

hierarchical softmax

activation function）」， 它 是 softmax 激

活函數的一種變形。這種變形的做法會把標籤分解為樹狀結構，並在樹的每個節點訓練

softmax 分類器，以指導分類器進行分類。

整流線性函數

整流線性（rectified linear）函數是一種更有趣的轉換方式，唯有當輸入值超過一定大小

時才會激活節點。當輸入低於零時，輸出為零 ...