Mãos à Obra: Aprendizado de Máquina com Scikit-Learn e TensorFlow

Autodiff | 531

Apêndice D

Autodiff

Este apêndice explica como funciona o recurso autodiff do TensorFlow, e como ele se

compara a outras soluções. Suponha que você defina uma função f(x,y) = x

2

y + y + 2, e

precise de suas derivadas parciais,

e , para desempenhar o Gradiente Descendente

(ou algum outro algoritmo de otimização). Suas principais opções são a diferenciação

manual, a simbólica, a numérica, autodiff no modo forward ou, finalmente, autodiff no

modo reverso. O TensorFlow implementa esta última, mas passaremos por cada uma delas.

Diferenciação Manual

A primeira abordagem é pegar um lápis, um pedaço de papel e usar seu conhecimento

de cá ...