Mãos à Obra: Aprendizado de Máquina com Scikit-Learn e TensorFlow

536 | Apêndice D : Autodiff

Autodiff no Modo Reverso

O autodiff no modo reverso é a solução implementada pelo TensorFlow. Primeiro, ele

passa pelo grafo na direção forward para calcular o valor de cada nó (ou seja, das entra-

das para a saída). Em seguida, faz uma segunda passagem, desta vez na direção inversa,

para calcular todas as derivadas parciais (ou seja, da saída para as entradas). A figura

D-3 representa a segunda passagem. Todos os valores do nó foram calculados durante

a primeira, começando de x = 3 e y = 4, valores que podem ser vistos no canto inferior

direito de cada nó (por exemplo, x × x = 9). Para maior clareza, os nós são rotu ...