
處理各類別數量不均衡的情況
|
303
隨機池化
(stochastic pooling
30
)
這是一種(特別針對)CNN 的正則化技術,我們可以使用一種隨機池化的形式來構
建 CNN 組合。每一次網路訓練都有可能會用到每個特徵映射圖的不同空間位置。
對抗型訓練
(adversarial training
31
)
你可以用一些比較小而且刻意挑選過形式比較差的訓練組資料,來建立一些輸入資
料。這樣就會生成另一個網路模型,它會以很高的可信度給出錯誤的答案。在實務
上,這已被證明可減少過度套入的情況,而且所得到的模型將具有抵抗不良樣本的
能力。
課程型學習
(curriculum learning
32
)
這種訓練的變形做法,會先從訓練組資料找出比較容易學習的樣本,來進行小批量
訓練,然後再逐步使用比較難學習的樣本進行訓練。採用這種策略可以加快訓練的
速度,讓結果收斂到更好的解,同時可充當網路的正則化器。以結果來看,這種做
法在某些領域相當成功。
平行化與正則化
你應該比較喜歡在學習期間,從參數向量的權重中去除雜訊,其中的理由
部分可歸因於學習速率的使用。如果想要消除最終權重內的一些雜訊,其
中一種方法就是針對好幾次的更新權重值取其平均。你也可以透過平行執
行模式中的參數平均效應,來達到這樣的效果。
在以平行方式執行的情況下,有時我們並不會使用在前函數來進行正則
化,因為參數平均本身就可以達到類似的效果。
處理各類別數量不均衡的情況
我們在機器學習中所用到的訓練資料集,每個類別的資料數量經常會多寡不一,明顯呈
現出各類別數量不均衡的情況 ...