
8.6 Exercices
329
© Dunod – Toute reproduction non autorisée est un délit.
pas les jetons <masque> pendant le peaunage), et 10% de chances d’être
écarté (pour attirer le modèle vers la réponse correcte).
– Next Sentence Prediction (NSP)
Le modèle est entraîné à prédire si deux phrases sont consécutives ou non.
Par exemple, il doit prédire que les phrases «
Le chien dort » et « Il rone
bruyamment » sont consécutives, contrairement aux phrases « Le chien
dort » et « La Terre tourne autour du Soleil ». Il s’agit d’une tâche difcile qui
améliore énormément les performances du modèle lorsqu’il est peauné sur
des tâches telles que la réponse à des ...