Uczenie głębokie od zera

Dodatek A Skok na głęboką wodę

W tym dodatku szczegółowo omawiam kilka zagadnień technicznych, które są ważnym uzupełnieniem książki, ale które nie są obowiązkowe.

Reguła łańcuchowa dla macierzy

Zaczynam od objaśnienia, dlaczego można podstawić W^T za w wyrażeniu na regułę łańcuchową z rozdziału 1.

Pamiętaj, że L jest obliczane tak:

σ(XW₁₁) + σ(XW₁₂) + σ(XW₂₁) + σ(XW₂₂) + σ(XW₃₁) + σ(XW₃₂)

Jest to skrótowy zapis tego, że:

σ(XW₁₁) = σ(x₁₁ × w₁₁ + x₁₂ × w₂₁ + x₁₃ × w₃₁)

σ(XW₁₂) = σ(x₁₁ × w₁₂ + x₁₂ × w₂₂ + x₁₃ × w₃₂)

i tak dalej. Przyjrzyjmy się tylko jednemu z tych wyrażeń. Jak wyglądałaby pochodna cząstkowa na przykład dla σ(XW₁₁) względem każdego ...