Capítulo 7. Transformadores
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
En el capítulo anterior, tratamos las RNN, la arquitectura de modelado en boga en PNL hasta que la arquitectura Transformer ganó protagonismo.
Los Transformadores son el caballo de batalla de la PNL moderna. La arquitectura original, propuesta por primera vez en 2017, ha arrasado en el mundo (del aprendizaje profundo). Desde entonces, la literatura sobre PNL se ha visto inundada de todo tipo de nuevas arquitecturas que, a grandes rasgos, se clasifican en personajes de Barrio Sésamo o palabras que terminan en "-former".1
En este capítulo, examinaremos en detalle esa misma arquitectura: el transformador. Analizaremos las principales innovaciones y exploraremos una nueva categoría de capas de redes neuronales: el mecanismo de atención.
Construir un transformador desde cero
En los Capítulos 2 y 3, exploramos cómo utilizar los transformadores en la práctica y cómo aprovechar los transformadores preentrenados para resolver problemas complejos de PNL. Ahora vamos a profundizar en la propia arquitectura y aprender cómo funcionan los transformadores desde los primeros principios.
¿Qué significa "primeros principios"? Bueno, para empezar, significa que no podemos utilizar la biblioteca de Transformers Cara Abrazada. Ya hemos hablado mucho de ella en este libro, así que es hora de que nos tomemos un descanso y veamos cómo funcionan las cosas realmente. ...
Get Procesamiento del Lenguaje Natural Aplicado en la Empresa now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
