Skip to Main Content
Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada
book

Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

by Lewis Tunstall, Leandro von Werra, Thomas Wolf
September 2024
Intermediate to advanced content levelIntermediate to advanced
408 pages
12h 11m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

Capítulo 10. Formar transformadores desde cero

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En el párrafo inicial de este libro, mencionamos una sofisticada aplicación llamada GitHub Copilot que utiliza transformadores similares a GPT para realizar el autocompletado de código, una función especialmente útil cuando se programa en un nuevo lenguaje o framework o se está aprendiendo a codificar, o para producir automáticamente código repetitivo. Otros productos que utilizan modelos de IA con este fin son TabNine yKite. Más adelante, en el Capítulo 5, vimos más de cerca cómo podemos utilizar modelos de GPT para generar texto de alta calidad. En este capítulo, cerraremos el círculo y construiremos nuestro propio modelo similar a GPT para generar código fuente Python. Al modelo resultante lo llamaremos CodeParrot.

Hasta ahora hemos trabajado sobre todo en aplicaciones con restricciones de datos, en las que la cantidad de datos de entrenamiento etiquetados es limitada. En estos casos, el aprendizaje por transferencia nos ayudó a construir modelos eficaces. Llevamos el aprendizaje por transferencia al límite en el Capítulo 9, donde apenas utilizamos datos de entrenamiento.

En este capítulo pasaremos al otro extremo y veremos qué podemos hacer cuando nos ahogamos en todos los datos que podamos desear. Exploraremos el paso de preentrenamiento propiamente dicho y aprenderemos a entrenar un transformador desde cero. Al ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Inteligencia artificial generativa práctica con transformadores y modelos de difusión

Inteligencia artificial generativa práctica con transformadores y modelos de difusión

Omar Sanseviero, Pedro Cuenca, Apolinário Passos, Jonathan Whitaker

Publisher Resources

ISBN: 9781098181468Supplemental Content