Skip to Main Content
IA Generativa en AWS
book

IA Generativa en AWS

by Chris Fregly, Antje Barth, Shelbee Eigenbrode
September 2024
Intermediate to advanced content levelIntermediate to advanced
312 pages
8h 39m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from IA Generativa en AWS

Capítulo 8. Optimizaciones de la Implementación de Modelos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Una vez que hayas adaptado tu modelo a tu tarea de destino, querrás finalmente implementar tu modelo para poder empezar a interactuar con él, así como integrarlo potencialmente en una aplicación diseñada para consumirlo.

Antes de desplegar tu modelo generativo, tienes que comprender los recursos que puede necesitar tu modelo, así como la experiencia prevista para interactuar con él. Considerar los recursos que necesitará tu modelo incluirá identificar requisitos como la rapidez con la que necesitas que tu modelo genere terminaciones, de qué presupuesto informático dispones y qué compensaciones estás dispuesto a hacer en cuanto al rendimiento del modelo para poder conseguir una velocidad de inferencia más rápida y reducir potencialmente los costes de almacenamiento.

En este capítulo, explorarás varias técnicas para realizar optimizaciones post-entrenamiento en tu modelo, incluyendo la poda, la cuantización y la destilación. También tendrás que tener en cuenta otras consideraciones y posibles ajustes de las configuraciones de implementación, como la selección de los recursos informáticos óptimos para equilibrar el coste y el rendimiento.

Optimizaciones del modelo para la inferencia

El tamaño de los modelos de IA generativa suele suponer un reto para su implementación en términos de requisitos de computación, ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Desarrollo sin servidor en AWS

Desarrollo sin servidor en AWS

Sheen Brisals, Luke Hedger
Creadores de valor de la IA

Creadores de valor de la IA

Rob Thomas, Paul Zikopoulos, Kate Soule

Publisher Resources

ISBN: 9781098181499Supplemental Content