Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada
by Lewis Tunstall, Leandro von Werra, Thomas Wolf
Capítulo 4. Reconocimiento multilingüe de entidades con nombre
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Hasta ahora en este libro hemos aplicado transformadores para resolver tareas de PLN en corpus ingleses, pero ¿qué haces cuando tus documentos están escritos en griego, swahili o klingon? Un enfoque consiste en buscar en el Hugging Face Hub un modelo lingüístico preentrenado adecuado y ajustarlo a la tarea en cuestión. Sin embargo, estos modelos preentrenados suelen existir sólo para lenguas de "altos recursos" como el alemán, el ruso o el mandarín, en las que se dispone de mucho texto web para el preentrenamiento. Otro reto común surge cuando tu corpus es multilingüe: mantener múltiples modelos monolingües en producción no será nada divertido ni para ti ni para tu equipo de ingenieros.
Afortunadamente, existe una clase de transformadores multilingües que vienen al rescate. Al igual que BERT, estos modelos utilizan el modelado lingüístico enmascarado como objetivo del preentrenamiento, pero se entrenan conjuntamente en textos de más de cien lenguas. Al realizar el preentrenamiento en corpus enormes de muchas lenguas, estos transformadores multilingües permiten la transferencia multilingüe sin necesidad de entrenamiento adicional, lo que significa que un modelo perfeccionado en una lengua puede aplicarse a otras sin necesidad de entrenamiento adicional. Esto también hace que estos modelos sean muy adecuados ...