深度學習｜內行人的做法

深度網路的一般架構原則

|

99

實用性進行一些相關討論，希望能減少一些圍繞在此領域中的一些誤解。因此，接下來

我們繼續討論，深度網路架構相關的一些構成元素。

深度網路的一般架構原則

在深入理解深度網路主要的一些特定架構之前，我們會先針對一些核心構成元素，擴展

一下我們的認知。首先，我們會重新檢視這些核心構成元素，然後再擴展其概念，以期

能對深度網路有更進一步的理解：

• 參數

• 層

• 激活函數

• 損失函數

• 最佳化演算法

• 超參數

接下來我們會運用這些概念，構建出以下這幾個基本的網路構建模塊（building block

networks）：

• RBM

• 自動編碼器

到了下一章，我們就會以本章的概念為基礎，重新檢視以下這些深度網路架構：

• UPN（無監督預訓練網路）

• CNN（卷積神經網路）

• RNN（遞迴神經網路）

• 遞歸神經網路（Recursive neural networks）

然後到了第 5 章，我們就會探討如何運用 DL4J，來實現這些深度網路的相關概念與架

構。現在就讓我們來重現檢視一下「參數」這個構成元素，並進一步了解如何在深度網

路中擴展其概念。