book

Modelos de lenguaje grandes prácticos

by Jay Alammar, Maarten Grootendorst

March 2025

Intermediate to advanced

428 pages

11h 21m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Una filosofía que da prioridad a la intuiciónRequisitos previosEstructura del libroParte I: Comprender los modelos lingüísticosParte II: Utilización de modelos lingüísticos preentrenadosParte III: Entrenamiento y ajuste de los modelos lingüísticosRequisitos de hardware y softwareClaves APIConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
¿Qué es la Inteligencia Artificial Lingüística?Historia reciente de la Inteligencia Artificial LingüísticaRepresentar la lengua como una bolsa de palabrasMejores representaciones con incrustaciones vectoriales densasTipos de incrustacionesCodificar y descodificar el contexto con la atenciónAtención es todo lo que necesitasModelos de representación: Modelos sólo codificadorModelos Generativos: Modelos sólo decodificadoresEl año de la IA GenerativaLa conmovedora definición de un "gran modelo lingüístico"El paradigma de entrenamiento de los grandes modelos lingüísticosAplicaciones de los Grandes Modelos Lingüísticos: ¿Qué las hace tan útiles?Desarrollo y uso responsable del LLMSólo necesitas recursos limitadosInterfaz con grandes modelos lingüísticosModelos propios y privadosModelos abiertosMarcos de trabajo de código abiertoGenerar tu primer textoResumen
Tokenización LLMCómo preparan los tokenizadores las entradas al modelo lingüísticoDescargar y ejecutar un LLM¿Cómo descompone el tokenizador el texto?Palabra Versus Subpalabra Versus Carácter Versus Byte TokensComparación de tokenizadores LLM entrenadosPropiedades del tokenizadorIncrustación de tokensUn modelo lingüístico contiene incrustaciones del vocabulario de su tokenizadorCreación de incrustaciones de palabras contextualizadas con modelos lingüísticosIncrustaciones de texto (para frases y documentos completos)Incrustación de palabras más allá de los LLMsUtilizar incrustaciones de palabras preentrenadasEl algoritmo Word2vec y el entrenamiento contrastivoIncrustaciones para sistemas de recomendaciónRecomendar canciones mediante incrustacionesEntrenar un modelo de incrustación de cancionesResumen
Visión general de los modelos de transformadoresEntradas y salidas de un LLM de transformador entrenadoLos componentes del pase hacia delanteElegir una sola ficha de la distribución de probabilidad (muestreo/descodificación)Procesamiento paralelo de tokens y tamaño del contextoAcelerar la generación almacenando en caché claves y valoresInterior del bloque transformadorMejoras recientes en la arquitectura del transformadorAtención más eficazEl bloque transformadorIncrustaciones Posicionales (RoPE)Otros experimentos y mejoras arquitectónicasResumen
El sentimiento de las críticas de cineClasificación de textos con modelos de representaciónSelección del modeloUtilizar un modelo específico para cada tareaTareas de clasificación que aprovechan las incrustacionesClasificación supervisada¿Y si no tenemos datos etiquetados?Clasificación de textos con modelos generativosUtilizar el Transformador de Transferencia de Texto a TextoChatGPT para ClasificaciónResumen
Artículos de ArXiv: Computación y LenguajeUn conducto común para la agrupación de textosIncrustar documentosReducir la dimensionalidad de las incrustacionesAgrupa las Incrustaciones ReducidasInspeccionar las AgrupacionesDe la agrupación de textos al modelado de temasBERTopic: Un marco modular de modelado de temasAñadir un bloque especial de LegoEl Bloque de Lego de Generación de TextoResumen
Utilizar modelos de generación de textoElegir un modelo de generación de textoCargar un modelo de generación de textoControlar la salida del modeloIntroducción a la ingeniería de promptsLos ingredientes básicos de un promptPrompting basado en instruccionesIngeniería de prompts avanzadaLa complejidad potencial de un promptAprendizaje en contexto: Proporcionar ejemplosPrompting en cadena: Romper el problemaRazonar con modelos generativosCadena de pensamiento: Piensa antes de responderAutoconsistencia: Muestreo de salidasÁrbol del Pensamiento: Explorando los pasos intermediosVerificación de salidaProporcionar ejemplosGramática: Muestreo restringidoResumen
E/S de modelos: Carga de modelos cuantizados con LangChainCadenas: Ampliación de las Capacidades de los LLMsUn solo eslabón de la cadena: Plantilla de promptUna Cadena con Múltiples PromptsMemoria: Cómo ayudar a los LLMs a recordar las conversacionesTampón de ConversaciónBuffer de conversación con ventanasResumen de la conversaciónAgentes: Creación de un Sistema de LLMsLa fuerza motriz de los agentes: Razonamiento Paso a PasoReAct en LangChainResumen

Visión general de la búsqueda semántica y la GARBúsqueda semántica con modelos lingüísticosRecuperación densaNueva clasificaciónMétricas de evaluación de la recuperaciónGeneración Mejorada por Recuperación (RAG)De la búsqueda al GAREjemplo: Generación fundamentada con una API LLMEjemplo: GAR con modelos localesTécnicas avanzadas de GAREvaluación RAGResumen
Transformadores para la VisiónModelos de incrustación multimodalCLIP: Conectar texto e imágenes¿Cómo puede CLIP generar incrustaciones multimodales?OpenCLIPHacer que los modelos de generación de textos sean multimodalesBLIP-2: Colmar la brecha entre modalidadesPreprocesamiento de entradas multimodalesCaso práctico 1: Subtitulado de imágenesCaso práctico 2: Prompting multimodal basado en chatResumen
Modelos de incrustación¿Qué es el aprendizaje contrastivo?SBERTCrear un modelo de incrustaciónGenerar ejemplos contrastivosModelo de trenEvaluación en profundidadFunciones de pérdidaAfinar un modelo de incrustaciónSupervisadoSBERT AumentadoAprendizaje no supervisadoAutoencodificador secuencial de eliminación de ruido basado en transformadoresUtilizar TSDAE para la adaptación de dominiosResumen
Clasificación supervisadaAjuste fino de un modelo BERT preentrenadoCongelar capasClasificación de Pocos TirosSetFit: Ajuste Fino Eficaz con Pocos Ejemplos de EntrenamientoAjuste fino para la clasificación de pocos disparosPreentrenamiento continuado con modelado lingüístico enmascaradoReconocimiento de Entidades NombradasPreparación de datos para el reconocimiento de entidades con nombreAjuste fino para el reconocimiento de entidades con nombreResumen
Los Tres Pasos del Entrenamiento LLM: Preentrenamiento, Ajuste Supervisado y Ajuste de PreferenciasAjuste fino supervisado (SFT)Ajuste fino completoAjuste fino eficiente de parámetros (PEFT)Ajuste de instrucciones con QLoRAPlantilla de datos de instrucciónCuantificación del modeloConfiguración LoRAConfiguración de la formaciónFormaciónFusionar pesosEvaluación de modelos generativosMétricas a nivel de palabraPuntos de referenciaTablas de clasificaciónEvaluación automatizadaEvaluación humanaPreferencia-Sintonización / Alineación / RLHFAutomatización de la evaluación de preferencias mediante modelos de recompensaEntradas y salidas de un modelo de recompensaEntrenar un modelo de recompensaModelo de formación sin recompensaAjuste de preferencias con OPDPlantilla de datos de alineaciónCuantificación del modeloConfiguración de la formaciónFormaciónResumen

Overview

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

La IA ha adquirido nuevas y sorprendentes capacidades lingüísticas en los últimos años. Impulsados por los rápidos avances en Deep Learning, los sistemas de IA lingüística son capaces de escribir y comprender textos mejor que nunca. Esta tendencia está dando lugar a nuevas funciones, productos e industrias enteras. A través de la naturaleza visualmente educativa de este libro, los lectores aprenderán herramientas prácticas y conceptos que necesitan para utilizar estas capacidades hoy en día.

Aprenderás a utilizar modelos de lenguaje de gran tamaño previamente entrenados para casos de uso como la redacción publicitaria y la síntesis; a crear sistemas de búsqueda semántica que van más allá de la coincidencia de palabras clave; y a utilizar bibliotecas existentes y modelos previamente entrenados para la clasificación, búsqueda y agrupación de textos. Este libro también te ayuda a:

Comprender la arquitectura de los modelos de lenguaje Transformer que destacan en la generación y representación de texto.

Comprender la arquitectura de los modelos de lenguaje Transformer que destacan en la generación y representación de texto.
Construir canalizaciones avanzadas de LLM para agrupar documentos de texto y explorar los temas que tratan
Construir motores de búsqueda semántica que vayan más allá de la búsqueda por palabras clave, utilizando métodos como la recuperación densa y los reordenadores.
Explora cómo se pueden utilizar los modelos generativos, desde la ingeniería de prompts hasta la generación aumentada por recuperación.
Obtén una comprensión más profunda de cómo entrenar LLMs y optimizarlos para aplicaciones específicas utilizando el ajuste fino de modelos generativos, el ajuste fino contrastivo y el aprendizaje en contexto.