Skip to Main Content
Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada
book

Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

by Lewis Tunstall, Leandro von Werra, Thomas Wolf
September 2024
Intermediate to advanced content levelIntermediate to advanced
408 pages
12h 11m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

Capítulo 8. Cómo hacer que los transformadores sean eficientes en la producción

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

En los capítulos anteriores, has visto cómo los transformadores pueden ajustarse con precisión para producir grandes resultados en una amplia gama de tareas. Sin embargo, en muchas situaciones la precisión (o cualquier otra métrica que estés optimizando) no es suficiente; tu modelo de última generación no es muy útil si es demasiado lento o grande para satisfacer los requisitos empresariales de tu aplicación. Una alternativa obvia es entrenar un modelo más rápido y compacto, pero la reducción de la capacidad del modelo suele ir acompañada de una degradación del rendimiento. Entonces, ¿qué puedes hacer cuando necesitas un modelo rápido y compacto, pero de gran precisión?

En este capítulo exploraremos cuatro técnicas complementarias que pueden utilizarse para acelerar las predicciones y reducir la huella de memoria de tus modelos de transformador: destilación de conocimientos, cuantización,poda y optimización de grafos con el formato Open Neural Network Exchange (ONNX) y ONNX Runtime (ORT). También veremos cómo pueden combinarse algunas de estas técnicas para producir importantes ganancias de rendimiento. Por ejemplo, éste fue el enfoque adoptado por el equipo de ingenieros de Roblox en su artículo"How We Scaled Bert to Serve 1+ Billion Daily Requests on CPUs", que, como se muestra en ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Inteligencia artificial generativa práctica con transformadores y modelos de difusión

Inteligencia artificial generativa práctica con transformadores y modelos de difusión

Omar Sanseviero, Pedro Cuenca, Apolinário Passos, Jonathan Whitaker

Publisher Resources

ISBN: 9781098181468Supplemental Content