
8.5 Innovations récentes dans les modèles de langage
327
© Dunod – Toute reproduction non autorisée est un délit.
Au moment de l’écriture de ces lignes, aucune classe Transformer ou
MultiHeadAttention n’est disponible pour TensorFlow2. Vous pouvez toute-
fois vous tourner vers l’excellent tutoriel TensorFlow de construction d’un modèle
Transformer pour la compréhension du langage (https://homl.info/transformertuto).
Par ailleurs, l’équipe TF Hub est en train de porter plusieurs modules Transformer
sur TensorFlow2
; ils devraient être disponibles sous peu. En attendant, j’espère avoir
montré que vous pouvez facilement implémenter un Transformer ...