Skip to Main Content
IA Generativa en AWS
book

IA Generativa en AWS

by Chris Fregly, Antje Barth, Shelbee Eigenbrode
September 2024
Intermediate to advanced content levelIntermediate to advanced
312 pages
8h 39m
Spanish
O'Reilly Media, Inc.
Book available
Content preview from IA Generativa en AWS

Capítulo 7. Ajuste fino con aprendizaje por refuerzo a partir de la retroalimentación humana

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Como aprendiste en los Capítulos 5 y 6, el ajuste fino con instrucciones puede mejorar el rendimiento de tu modelo y ayudarle a comprender mejor las indicaciones de tipo humano y a generar respuestas más parecidas a las humanas. Sin embargo, no evita que el modelo genere respuestas no deseadas, falsas y, a veces, incluso perjudiciales.

En realidad, los resultados indeseables no son ninguna sorpresa, dado que estos modelos se entrenan con grandes cantidades de datos de texto de Internet, que por desgracia contienen muchas palabras malsonantes y tóxicas. Y aunque los investigadores y los profesionales siguen depurando y refinando los conjuntos de datos de preentrenamiento para eliminar los datos no deseados, sigue existiendo la posibilidad de que el modelo genere contenidos que no se ajusten positivamente a los valores y preferencias humanos.

El aprendizaje por refuerzo a partir de la retroalimentación humana (RLHF) es un mecanismo de ajuste fino que utiliza la anotación humana -también llamada retroalimentación humana- para ayudar al modelo a adaptarse a los valores y preferencias humanos. El RLHF se suele aplicar después de otras formas de ajuste fino, como el ajuste fino de instrucciones.

Aunque RLHF se utiliza normalmente para ayudar a un modelo a generar resultados más ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Desarrollo sin servidor en AWS

Desarrollo sin servidor en AWS

Sheen Brisals, Luke Hedger
Creadores de valor de la IA

Creadores de valor de la IA

Rob Thomas, Paul Zikopoulos, Kate Soule

Publisher Resources

ISBN: 9781098181499Supplemental Content