Deep Learning avec Keras et TensorFlow

3.3 Optimiseurs plus rapides

127

© Dunod – Toute reproduction non autorisée est un délit.

Équation 3.8 – Algorithme Adam

()

()

()

() ()

←

←

←

←

←

J

JJ

mm

ss

m

m

s

s

ms

1. –1–

2.

+1–

3.

ˆ

1–

4.

ˆ

1–

5. +

ˆˆ

+

t

t

11

22

1

2



ββ

ββ

β

β

ηε

θθ

θ

θθ

θ

θθθθ

θθ

θθθθ

Dans cette équation, t représente le numéro de l’itération (en commençant à 1).

Si l’on examine uniquement les étapes 1, 2 et 5, on constate une forte similitude

avec l’optimisation avec inertie et RMSProp. La seule différence est que l’étape 1

calcule une moyenne mobile exponentielle à la place d’une somme à décroissance

exponentielle, mais elles sont en réalité équivalentes, à un facteur constant près (la

moyenne mobile exponentielle est ...