Mãos à Obra: Aprendizado de Máquina com Scikit-Learn e TensorFlow

308 | Capítulo 11: Treinando Redes Neurais Profundas

Como era de se esperar, o TensorFlow tem uma classe RMSPropOptimizer:

optimizer = tf.train.RMSPropOptimizer(learning_rate=learning_rate,

momentum=0.9, decay=0.9, epsilon=1e-10)

Exceto em problemas muito simples, esse otimizador quase sempre funciona muito me-

lhor do que o AdaGrad. Na verdade, foi o algoritmo de otimização preferido de muitos

pesquisadores até surgir a Otimização de Adam.

Otimização Adam

Adam (https://goo.gl/Un8Axa),

14

que significa estimativa de momento adaptativo [adap-

tive moment estimation], combina as ideias de otimização Momentum e RMSProp: assim

como a otimização Momen ...