
306
Chapitre 8. Traitement automatique du langage naturel avec les RNR et les attentions
dans le constructeur. Si votre couche ne commence pas par une couche Embedding,
vous avez la possibilité d’utiliser à la place la couche keras.layers.Masking.
Elle xe le masque à K.any(K.not_equal(inputs, 0), axis=-1), signi-
ant par là que les étapes temporelles dont la dernière dimension est remplie de
zéros seront masquées dans les couches suivantes (de nouveau, tant que la dimension
temporelle existe).
Les couches de masquage et la propagation automatique du masque fonctionnent
bien pour les modèles Sequential simples. Ce ne sera pas toujours le cas pour ...