Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada
by Lewis Tunstall, Leandro von Werra, Thomas Wolf
Prefacio
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Desde su introducción en 2017, los transformadores se han convertido en el estándar de facto para abordar una amplia gama de tareas de procesamiento del lenguaje natural (PLN) tanto en el mundo académico como en la industria. Sin darte cuenta, es probable que hoy hayas interactuado con un transformador: Google utiliza ahora BERT para mejorar su motor de búsqueda al comprender mejor las consultas de búsqueda de los usuarios. Del mismo modo, la familia de modelos GPT de OpenAI ha aparecido repetidamente en los titulares de los principales medios de comunicación por su capacidad para generar texto e imágenes similares a los humanos.1 Estos transformadores alimentan ahora aplicaciones como Copilot de GitHub, que, como se muestra en la Figura P-1, puede convertir un comentario en código fuente que crea automáticamente una red neuronal por ti.
Entonces, ¿qué tienen los transformadores que cambiaron el campo casi de la noche a la mañana? Como muchos grandes avances científicos, fue la síntesis de varias ideas, como la atención, el aprendizaje por transferencia y laampliación de las redes neuronales, que estaban filtrándose en la comunidad investigadora en aquel momento.
Pero por muy útil que sea, para ganar adeptos en la industria cualquier método nuevo y elegante necesita herramientas que lo hagan accesible. LabibliotecaTransformers y el ecosistema que la rodea ...