Deep Learning avec Keras et TensorFlow

3.1 Problèmes de disparition et d’explosion des gradients

107

© Dunod – Toute reproduction non autorisée est un délit.

–4

–1

0

1

2

3

–3 –2 –1 0

Fonction d’activation ELU (α = 1)

1234

Figure 3.3 – Fonction d’activation ELU

Équation

3.2 – Fonction d’activation ELU

()

()

()

<

≥

z

zz

zz

ELU

=

exp–1si0

si 0

α

α

La fonction d’activation ELU ressemble énormément à la fonction ReLU, mais

avec quelques différences majeures

:

•

Elle prend en charge les valeurs négatives lorsque z < 0, ce qui permet au

neurone d’avoir une sortie moyenne plus proche de zéro et aide à atténuer

le problème de disparition des gradients. L’hyperparamètre

α

dénit la valeur

vers laquelle la fonction ...