
Построение многослойной искусственной нейронной сети с нуля
361
.
Если мы повторно используем член δ
(out)
, вычисленный ранее, это уравнение можно
упростить до вида:
.
Предыдущие члены могут быть относительно легко найдены по отдельности, как мы
делали ранее, потому что здесь не используются новые производные. Например,
()
()
1
1
h
h
a
∂
∂
является производной сигмоидной активации, т. е.
() ()
11
(1 ),
hh
aa− ! и т. д. Мы оставим вы-
числение остальных членов уравнения в качестве дополнительного упражнения для
читателей.
Градиент для веса выходного слоя:
Рис. 11.13. Вычисление частных производных потерь по первому весу скрытого