Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow

Dodatek D Różniczkowanie automatyczne

W tym dodatku wyjaśniam funkcję różniczkowania automatycznego dostępną w module TensorFlow, a także porównuję ją z innymi rozwiązaniami.

Załóżmy, że definiujemy funkcję f(x, y) = x²y+y+2 i potrzebujemy jej pochodnych cząstkowych i , najczęściej do przeprowadzenia gradientu prostego (lub do innego algorytmu optymalizacyjnego). Mamy do wyboru następujące techniki: różniczkowanie ręczne, metodą różnic skończonych, automatyczne oraz odwrotne automatyczne. W module TensorFlow jest dostępne to ostatnie rozwiązanie, ...