深度學習｜內行人的做法

受限波茲曼機器（RBM）

|

341

隱藏單元與資料所隱含訊息的關係

RBM 這種生成型神經網路，與判別型機器學習不大相同。在判別型的學習過程中，模

型只需要區分出訓練資料所屬的類別標籤，因此模型的參數數量只要足以區分出類別標

籤即可。

資料所隱含的訊息與樣本的類別標籤

類別標籤最多只能保存幾個位元的訊息，所以判別型模型並不見得需要處

理資料中所隱含的大量訊息。在某些情況下，如果使用太多的參數，模型

構建過程反而（有可能，要看正則化做得如何）會出現嚴重過度套入的

情況。

用來表示輸入向量的位元數量，往往比用來表示類別標籤的位元數量大好幾個數量級。

從這種角度來看的話，我們就可以了解到，資料輸入向量本身擁有比類別標籤多出非常

非常多可供學習的訊息。

當然，如果可以善用那些隱含在輸入資料中的原始訊息，我們就可以更有效提取出各種

特徵，然後在流程後半段進行更有效的分類判別（如果是做為 DBN 一部分的話）。我們

在這裡想要知道的是，資料中究竟有多少訊息可供我們使用。訓練資料中隱含了多少訊

息，一定會影響你如何選定隱藏單元的數量。

快速範例

訓練圖片的數量：10,000

每個圖片的像素數量：1,000

相應的全範圍連結（globally connected）隱藏單元數量：1,000

我們可以看到（全範圍連結）隱藏單元的數量，與輸入向量或圖片中的訊息量有直接

的關係。如果 RBM 網路中採用的是非全範圍連結或權重共用的方案，我們還可以使用

更多的隱藏單元。接著我們來看一種比較粗略但快速的方式，為 RBM 選定隱藏單元的

數量。