
11.4 Entraîner des modèles sur plusieurs processeurs
465
© Dunod – Toute reproduction non autorisée est un délit.
Mises à jour asynchrones
Avec les mises à jour asynchrones, dès qu’un réplica a terminé le calcul des gradients,
il les utilise immédiatement pour actualiser les paramètres du modèle. L’agrégation
est absente (l’étape «
moyenne » sur la gure11.19 disparaît), tout comme la synchro-
nisation. Les réplicas travaillent indépendamment les uns des autres. Puisque aucun
réplica n’attend les autres, cette approche permet de réaliser un plus grand nombre
d’entraînements par minute. Par ailleurs, même si les paramètres doivent toujours
être ...