Traitement du langage naturel appliqué à l'entreprise

Annexe A. Échelle

Comme nous l'avons mentionné à plusieurs reprises dans ce livre, les grands modèles de langage ont eu un impact important sur le domaine du TAL, et les tendances actuelles suggèrent que cela n'est pas prêt de s'arrêter, comme le suggère la figure A-1.

Figure A-1. Tendance de la croissance des modèles linguistiques

Ce qui est génial, , même si tu n'es pas particulièrement enthousiaste à l'idée d'entraîner toi-même un grand modèle, c'est que la plupart des chercheurs sont généralement intéressés par l'ouverture de leur code et par la publication des poids des modèles entraînés. De meilleurs modèles de langage formés sur des ensembles de données plus importants pendant plus longtemps signifient que toi, le développeur qui crée des applications NLP, tu disposes d'une base de référence plus solide sur laquelle travailler. C'est presque comme une augmentation gratuite des performances !¹

En raison de ces progrès rapides et de l'intérêt général pour l'open sourcing des meilleurs modèles, nous ne recommandons généralement pas de former ton propre grand modèle de langage à partir de zéro. C'est souvent contre-productif lorsque de nombreux chercheurs ont passé des années de GPU à optimiser un modèle de langage spécifique sur un grand ensemble de données existant. La première leçon que nous avons tirée du chapitre 2 est que la prudence en matière de réglage fin peut rapporter ...