Skip to Main Content
IA Generativa en AWS
book

IA Generativa en AWS

by Chris Fregly, Antje Barth, Shelbee Eigenbrode
September 2024
Intermediate to advanced content levelIntermediate to advanced
312 pages
8h 39m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from IA Generativa en AWS

Capítulo 6. Ajuste fino eficaz de los parámetros

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Como hemos comentado en capítulos anteriores, entrenar modelos generativos es costoso computacionalmente. Adaptar los modelos a tu dominio mediante el ajuste fino completo requiere memoria no sólo para almacenar el modelo, sino también otros parámetros diversos que se necesitan durante el proceso de entrenamiento. A diferencia del ajuste fino completo, el ajuste fino eficiente de parámetros (PEFT) proporciona un conjunto de técnicas que te permiten ajustar tus modelos utilizando menos recursos informáticos.

Existen diversas técnicas y categorías de PEFT exploradas en un artículo sobre el escalado.1 Las técnicas varían en su aplicación, pero en general, cada una se centra en congelar todos o la mayoría de los parámetros originales del modelo y ampliar o sustituir las capas del modelo entrenando un conjunto adicional, mucho más pequeño, de parámetros. Las técnicas más utilizadas pertenecen a las categorías aditiva y de reparametrización.

Las técnicas aditivas, como el ajuste rápido, aumentan el modelo mediante el ajuste fino y la adición de parámetros o capas adicionales al modelo preentrenado. Las técnicas de reparametrización, como la Adaptación de Bajo Rango (LoRA), permiten la adaptación utilizando representaciones de bajo rango para reducir el número de parámetros de entrenamiento y los recursos informáticos ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Desarrollo sin servidor en AWS

Desarrollo sin servidor en AWS

Sheen Brisals, Luke Hedger
Creadores de valor de la IA

Creadores de valor de la IA

Rob Thomas, Paul Zikopoulos, Kate Soule

Publisher Resources

ISBN: 9781098181499Supplemental Content