Deep Learning avec Keras et TensorFlow

Chapitre 11 : Entraînement et déploiement à grande échelle de modèles TensorFlow

509

propre boucle d’entraînement, qui s’exécute de façon asynchrone

par rapport aux autres ouvriers. Lors de chaque itération

d’entraînement, un ouvrier reçoit son propre lot de données et

récupère la dernière version des paramètres du modèle à partir

des serveurs de paramètres. Il calcule ensuite les gradients de la

perte en fonction de ces paramètres et les envoie aux serveurs de

paramètres. Ceux-ci réalisent une étape de descente de gradient

à partir des gradients reçus. Cette stratégie est généralement plus

lente que la précédente et un peu plus difcile à déployer ...