Modelos de lenguaje grandes prácticos

Capítulo 12. Ajuste de los modelos de generación

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo, tomaremos un modelo de generación de texto preentrenado y repasaremos el proceso de ajuste fino. Este paso de ajuste fino es clave para producir modelos de alta calidad y una herramienta importante en nuestra caja de herramientas para adaptar un modelo a un comportamiento específico deseado. El ajuste fino nos permite adaptar un modelo a un conjunto de datos o dominio específico.

A lo largo de este capítulo, te guiaremos entre los dos métodos más comunes para el ajuste fino de los modelos de generación de texto, el ajuste fino supervisado y el ajuste de preferencias. Exploraremos el potencial transformador del ajuste fino de los modelos de generación de texto preentrenados para convertirlos en herramientas más eficaces para tu aplicación.

Los Tres Pasos del Entrenamiento LLM: Preentrenamiento, Ajuste Supervisado y Ajuste de Preferencias

Existen tres pasos comunes que conducen a la creación de un LLM de alta calidad:

1. Modelado lingüístico

El primer paso para crear un LLM de alta calidad es preentrenarlo en uno o más conjuntos de datos de texto masivo(Figura 12-1). Durante el entrenamiento, intenta predecir el siguiente token para aprender con precisión las representaciones lingüísticas y semánticas que se encuentran en el texto. Como ya vimos en los Capítulos 3 y 11, esto se llama modelado ...