Skip to Main Content
Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada
book

Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

by Lewis Tunstall, Leandro von Werra, Thomas Wolf
September 2024
Intermediate to advanced content levelIntermediate to advanced
408 pages
12h 11m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

Capítulo 3. Anatomía del transformador

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el Capítulo 2 vimos lo que se necesita para afinar y evaluar un transformador. Ahora echemos un vistazo a cómo funcionan bajo el capó. En este capítulo exploraremos los principales bloques de construcción de los modelos de transformador y cómo implementarlos utilizando PyTorch. También te orientaremos sobre cómo hacer lo mismo en TensorFlow. Primero nos centraremos en construir el mecanismo de atención, y luego añadiremos las piezas necesarias para que funcione un codificador de transformadores. También echaremos un breve vistazo a las diferencias arquitectónicas entre los módulos codificador y decodificador. ¡Al final de este capítulo serás capaz de implementar tú mismo un modelo de transformador sencillo!

Aunque en general no es necesario un profundo conocimiento técnico de la arquitectura de los Transformadores para utilizar nlpt_pin01Transformers y ajustar los modelos a tu caso de uso, puede ser útil para comprender y navegar por las limitaciones de los Transformadores y utilizarlos en nuevos dominios.

Este capítulo también presenta una taxonomía de los transformadores para ayudarte a comprender el zoo de modelos que han surgido en los últimos años. Antes de sumergirnos en el código, empecemos con una visión general de la arquitectura ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Inteligencia artificial generativa práctica con transformadores y modelos de difusión

Inteligencia artificial generativa práctica con transformadores y modelos de difusión

Omar Sanseviero, Pedro Cuenca, Apolinário Passos, Jonathan Whitaker

Publisher Resources

ISBN: 9781098181468Supplemental Content