Aprendizaje profundo generativo, 2ª edición

Capítulo 9. Transformadores

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Objetivos del capítulo

En este capítulo:

• Conoce los orígenes de GPT, un potente modelo de Transformador descodificador para la generación de texto.

• Aprende conceptualmente cómo un mecanismo de atención imita nuestra forma de dar más importancia a unas palabras de una frase que a otras.

• Profundiza en cómo funciona el mecanismo de atención desde los primeros principios, incluyendo cómo se crean y manipulan las consultas, las claves y los valores.

• Observa la importancia del enmascaramiento causal para las tareas de generación de texto.

• Comprende cómo pueden agruparse las cabezas de atención en una capa de atención multicabeza.

• Mira cómo las capas de atención multicabezal forman una parte de un bloque Transformador que también incluye la normalización de capas y las conexiones de salto.

• Crea codificaciones posicionales que capturen la posición de cada token, así como la incrustación del token de la palabra.

• Construye un modelo GPT en Keras para generar el texto contenido en las reseñas de vinos.

• Analiza la salida del modelo GPT, incluyendo la interrogación de las puntuaciones de atención para inspeccionar dónde está mirando el modelo.

• Conoce los distintos tipos de Transformadores, incluyendo ejemplos de los tipos de tareas que puede abordar cada uno y descripciones de las implementaciones más famosas del estado del arte. ...