book

Modelos de lenguaje visual (Spanish Edition)

Name: Modelos de lenguaje visual (Spanish Edition)
ISBN: 0642572302818

by Merve Noyan, Andrés Marafioti, Miquel Farré, Orr Zohar

June 2026

Intermediate

408 pages

11h 10m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Prólogo
Prefacio
¿A quién va dirigido este libro?Lo que aprenderásConvenciones utilizadas en este libroUso de ejemplos de códigoO’Reilly Online LearningCómo contactarnosAgradecimientos
1. Introducción a la visión y el lenguaje
Breve introducción a la visión artificialTécnicas de descomposición de señalesFiltros y núcleos de extracción de característicasDe los filtros a las redes neuronales convolucionalesOtros flujos de trabajo básicos basados en redes neuronales convolucionalesAprendizaje por transferenciaEstructuras de base de la visión por computadoraLos transformadores y sus orígenes en el lenguajeTransformadores de visiónModelos modernos de visión y lenguajeBreve introducción al ecosistema de código abierto de Hugging FaceHugging Face HubBibliotecasEjemplo de código: Búsqueda de imágenes a partir de textoResumen
2. Aplicaciones del modelo de lenguaje visual
Subtítulos de imágenesRespuesta visual a preguntasRazonamiento visualRecuperación de lenguaje visualComprensión de documentosRespuesta a preguntas visuales sobre documentosComprensión de vídeosLocalización de instancias con modelos de visión y lenguajeDetección de objetos sin entrenamiento previoRecuento de objetosSegmentación de imágenesResumen
3. Entrenamiento de modelos de lenguaje visual
Una visión general del entrenamiento de modelos de visión y lenguajeEl cómo: qué hacen los diferentes paradigmas de entrenamientoEl cuándo: las etapas de entrenamiento de un modeloEntrenamiento de modelos de visión y lenguajeLo primero es lo primero: los datos de entrenamientoDiseñemos nuestro modelo de lenguaje visualCargar más de una muestra a la vezEntrenamiento con un tamaño de lote realRealizar inferencias con nuestro modelo entrenadoAcelerar la inferencia con una caché de clave-valorTrabajar con imágenes de alta resoluciónResumen
4. Datos de entrenamiento y preprocesamiento para los VLM
Análisis de los datosConjuntos de datos de imagen-textoConjuntos de datos de vídeo y textoConjuntos de datos de visión-lenguaje-acciónCreación de un conjunto de datosObtención de datos a gran escalaFiltrado de datos a gran escalaDiversidad de muestras a gran escalaAnotación de datos y validación de calidad a gran escalaPreparación del conjunto de datos para su usoMezclas de conjuntos de datos: el hiperparámetro ocultoIngredientes y proporciones de la mezclaDiseño de mezclas orientado a tareasAblaciones y evaluaciónResumen
5. Modelos de visión y lenguaje tras el entrenamiento
Ajuste fino supervisadoAjuste fino eficiente en parámetrosEntrenamiento con cuantificaciónIntroducción a los transformadores Aprendizaje por refuerzoAprendizaje por refuerzo a partir de la retroalimentación humanaOptimización de preferencias directas y optimización de preferencias mixtasOptimización de políticas relativas de grupoResumen
6. Arquitecturas principales de los modelos de visión y lenguaje
La clave para combinar información: la atención multimodalAutoatención: encontrar relaciones dentro de una secuenciaAtención cruzada: conectando dos flujos diferentesPlantillas modernas de VLM: conectar modelos preentrenadosEl enfoque del adaptador: atención cruzadaEl enfoque de secuencia unificada: autoatenciónComparación de arquitecturas: ¿qué camino seguir?Conceptos fundamentales en el diseño de VLMEl marco de fusión: ¿temprano o tarde?El patrón codificador-decodificador: dónde empezó todoResumen
7. Implementación de modelos para la inferencia a gran escala
Optimización de la inferencia para VLMEntender la caché KVOptimizaciones de la atención: FlashAttention y más alláEntender la memoria de la GPU: la base de toda optimización de la inferenciaEl cuello de botella de la atención y FlashAttention al rescateUso de la atención optimizadaCuantificación para VLMPor qué ayuda la cuantificación: ancho de banda, no computaciónCuantificación solo de pesosEl problema de los valores atípicosMétodos de cuantificaciónLa asimetría de cuantificación de VLMNotas prácticastorchaoExportación de modelos a diferentes entornos de ejecuciónONNXTensorRT: máximo rendimiento de la GPUImplementación en el navegador con transformers.jsEmpaquetado e implementación en entornos realesFuncionaImplementación eficiente con vLLMOptimizaciones de producciónImplementación en dispositivos/periferiaEl panorama del perímetroMLX en Apple SiliconLlama.cppImplementación móvilAdaptadores PEFT para el perímetro de personalizaciónPatrones híbridosResumen
8. IA documental
Introducción a la IA para documentosExtracción de informaciónAnálisis de documentosElegir el modelo «adecuado»Recuperación de documentos multimodalEnfoques para resolver problemas de IA en documentosPrimeros modelos de IA para documentos: extracción de información y clasificación de documentosEjemplos de código: IA documental con modelos modernos de visión y lenguajeRAG para documentosResumen

9. Modelos de vídeo y lenguaje
FundamentosTareas de vídeo y lenguajeDe las imágenes al video: conceptos básicosLa evolución hacia los modelos de vídeo y lenguajeModelado temporalDesafíos fundamentales en el modelado temporalMecanismos de atención para el videoModelos de vídeo-lenguaje en la prácticaElegir el modo de salida adecuadoCanales de recuperación que se adaptanVideo-RAG: preguntas y respuestas sobre video con recuperación aumentadaAjuste fino de un modelo de vídeo-lenguaje para tu dominioEficiencia en los modelos de vídeo-lenguajeEficiencia de tokensEficiencia del entrenamientoResumen
10. Modelos «cualquier cosa a cualquier cosa»
Presentación de los tres enfoquesModelos de vocabulario unificadoModelos híbridosModelos modularesModelos de vocabulario unificadoArquitectura monolíticaCabezas factorizadasModelos híbridos multiobjetivosAutoencodificadores variacionalesConectando latentes continuos con modelos de lenguaje a través de la difusiónPoniendo todo junto: del prompt a la salida generadaModelos de acondicionamiento tardíoInterfaces de condicionamiento: cómo representar la intenciónConectores: tendiendo puentesCómo usan el condicionamiento los generadoresPráctica: Qwen-Image-Edit, un editor de difusión modularEntrenamientoEquilibrio de tareas y mezcla de datosEntrenamiento por etapas: divide y vencerásFunciones de pérdida específicas de la arquitecturaManos a la obraResumen
11. Temas avanzados e investigación de vanguardia
Modelos de visión, lenguaje y agenciaIntroducción a los agentesIntroducción a SmolagentsAgentes de uso de computadorasModelos de visión-lenguaje-acciónCerrando el ciclo percepción-acciónDe VLM a VLAResumen del panorama de modelosResumen
Índice
Sobre los autores

Overview

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Los modelos de lenguaje y visión (VLM) combinan la visión artificial y el procesamiento del lenguaje natural para crear sistemas potentes capaces de interpretar, generar y responder en contextos multimodales. Vision Language Models es una guía práctica para crear VLM del mundo real usando el conjunto más actualizado de herramientas de aprendizaje automático de Hugging Face, Meta (PyTorch), NVIDIA (Cuda) y otros, escrita por los investigadores y profesionales líderes Merve Noyan, Miquel Farré, Andrés Marafioti y Orr Zohar. Desde la generación de leyendas para imágenes y la comprensión de documentos hasta la inferencia avanzada sin entrenamiento previo y la generación aumentada por recuperación (RAG), este libro cubre todo el ciclo de vida de la aplicación y el desarrollo de los VLM.

Diseñada para ingenieros de aprendizaje automático, científicos de datos y desarrolladores, esta guía sintetiza la investigación de vanguardia en VLM en técnicas prácticas. Los lectores aprenderán a preparar conjuntos de datos, seleccionar las arquitecturas adecuadas, ajustar y realizar la implementación de modelos, y aplicarlos a tareas del mundo real en una amplia gama de industrias.

Explora las arquitecturas de modelos principales y las técnicas de alineación
Entrena y ajusta los VLM con Hugging Face, PyTorch y otros
Realiza la implementación de modelos para aplicaciones como la búsqueda de imágenes y la generación de leyendas
Implementa estrategias de inferencia avanzadas, desde sistemas «zero-shot» hasta sistemas «agentic»
Construye sistemas VLM escalables listos para su uso en producción

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Publisher Resources

ISBN: 0642572302818

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills