Procesamiento del Lenguaje Natural Aplicado en la Empresa

Apéndice A. Escala

Como hemos mencionado varias veces en este libro, los grandes modelos lingüísticos han tenido un gran impacto en el campo de la PNL, y las tendencias actuales sugieren que esto no va a parar pronto, como sugiere la Figura A-1.

Figura A-1. Tendencia de crecimiento del modelo lingüístico

Lo bueno de esto, incluso si no te entusiasma especialmente entrenar tú mismo un modelo grande, es que la mayoría de los investigadores suelen estar interesados en abrir su código y publicar también los pesos del modelo entrenado. Mejores modelos lingüísticos entrenados en conjuntos de datos más grandes durante más tiempo significa que tú, el desarrollador que crea aplicaciones de PNL, tienes una base de referencia más sólida sobre la que trabajar. Es casi como un aumento gratuito del rendimiento.¹

Debido a este rápido progreso y al interés general en la creación abierta de los mejores modelos, en general no recomendamos entrenar tu propio modelo lingüístico de gran tamaño desde cero. A menudo es contraproducente cuando muchos investigadores han dedicado años de tiempo de GPU a optimizar un modelo lingüístico específico en un gran conjunto de datos existente. Nuestra primera lección en el Capítulo 2 fue que ser prudente con el ajuste fino puede reportar grandes recompensas. En la práctica, siempre querrás utilizar el aprendizaje por transferencia siempre que puedas.

Sin embargo, ...