book

Modelos de lenguaje visual (Spanish Edition)

Name: Modelos de lenguaje visual (Spanish Edition)
ISBN: 0642572302818

by Merve Noyan, Andrés Marafioti, Miquel Farré, Orr Zohar

June 2026

Intermediate

408 pages

11h 10m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Prólogo
Prefacio
¿A quién va dirigido este libro?Lo que aprenderásConvenciones utilizadas en este libroUso de ejemplos de códigoO’Reilly Online LearningCómo contactarnosAgradecimientos
1. Introducción a la visión y el lenguaje
Breve introducción a la visión artificialTécnicas de descomposición de señalesFiltros y núcleos de extracción de característicasDe los filtros a las redes neuronales convolucionalesOtros flujos de trabajo básicos basados en redes neuronales convolucionalesAprendizaje por transferenciaEstructuras de base de la visión por computadoraLos transformadores y sus orígenes en el lenguajeTransformadores de visiónModelos modernos de visión y lenguajeBreve introducción al ecosistema de código abierto de Hugging FaceHugging Face HubBibliotecasEjemplo de código: Búsqueda de imágenes a partir de textoResumen
2. Aplicaciones del modelo de lenguaje visual
Subtítulos de imágenesRespuesta visual a preguntasRazonamiento visualRecuperación de lenguaje visualComprensión de documentosRespuesta a preguntas visuales sobre documentosComprensión de vídeosLocalización de instancias con modelos de visión y lenguajeDetección de objetos sin entrenamiento previoRecuento de objetosSegmentación de imágenesResumen
3. Entrenamiento de modelos de lenguaje visual
Una visión general del entrenamiento de modelos de visión y lenguajeEl cómo: qué hacen los diferentes paradigmas de entrenamientoEl cuándo: las etapas de entrenamiento de un modeloEntrenamiento de modelos de visión y lenguajeLo primero es lo primero: los datos de entrenamientoDiseñemos nuestro modelo de lenguaje visualCargar más de una muestra a la vezEntrenamiento con un tamaño de lote realRealizar inferencias con nuestro modelo entrenadoAcelerar la inferencia con una caché de clave-valorTrabajar con imágenes de alta resoluciónResumen
4. Datos de entrenamiento y preprocesamiento para los VLM
Análisis de los datosConjuntos de datos de imagen-textoConjuntos de datos de vídeo y textoConjuntos de datos de visión-lenguaje-acciónCreación de un conjunto de datosObtención de datos a gran escalaFiltrado de datos a gran escalaDiversidad de muestras a gran escalaAnotación de datos y validación de calidad a gran escalaPreparación del conjunto de datos para su usoMezclas de conjuntos de datos: el hiperparámetro ocultoIngredientes y proporciones de la mezclaDiseño de mezclas orientado a tareasAblaciones y evaluaciónResumen
5. Modelos de visión y lenguaje tras el entrenamiento
Ajuste fino supervisadoAjuste fino eficiente en parámetrosEntrenamiento con cuantificaciónIntroducción a los transformadores Aprendizaje por refuerzoAprendizaje por refuerzo a partir de la retroalimentación humanaOptimización de preferencias directas y optimización de preferencias mixtasOptimización de políticas relativas de grupoResumen
6. Arquitecturas principales de los modelos de visión y lenguaje
La clave para combinar información: la atención multimodalAutoatención: encontrar relaciones dentro de una secuenciaAtención cruzada: conectando dos flujos diferentesPlantillas modernas de VLM: conectar modelos preentrenadosEl enfoque del adaptador: atención cruzadaEl enfoque de secuencia unificada: autoatenciónComparación de arquitecturas: ¿qué camino seguir?Conceptos fundamentales en el diseño de VLMEl marco de fusión: ¿temprano o tarde?El patrón codificador-decodificador: dónde empezó todoResumen
7. Implementación de modelos para la inferencia a gran escala
Optimización de la inferencia para VLMEntender la caché KVOptimizaciones de la atención: FlashAttention y más alláEntender la memoria de la GPU: la base de toda optimización de la inferenciaEl cuello de botella de la atención y FlashAttention al rescateUso de la atención optimizadaCuantificación para VLMPor qué ayuda la cuantificación: ancho de banda, no computaciónCuantificación solo de pesosEl problema de los valores atípicosMétodos de cuantificaciónLa asimetría de cuantificación de VLMNotas prácticastorchaoExportación de modelos a diferentes entornos de ejecuciónONNXTensorRT: máximo rendimiento de la GPUImplementación en el navegador con transformers.jsEmpaquetado e implementación en entornos realesFuncionaImplementación eficiente con vLLMOptimizaciones de producciónImplementación en dispositivos/periferiaEl panorama del perímetroMLX en Apple SiliconLlama.cppImplementación móvilAdaptadores PEFT para el perímetro de personalizaciónPatrones híbridosResumen
8. IA documental
Introducción a la IA para documentosExtracción de informaciónAnálisis de documentosElegir el modelo «adecuado»Recuperación de documentos multimodalEnfoques para resolver problemas de IA en documentosPrimeros modelos de IA para documentos: extracción de información y clasificación de documentosEjemplos de código: IA documental con modelos modernos de visión y lenguajeRAG para documentosResumen

9. Modelos de vídeo y lenguaje
FundamentosTareas de vídeo y lenguajeDe las imágenes al video: conceptos básicosLa evolución hacia los modelos de vídeo y lenguajeModelado temporalDesafíos fundamentales en el modelado temporalMecanismos de atención para el videoModelos de vídeo-lenguaje en la prácticaElegir el modo de salida adecuadoCanales de recuperación que se adaptanVideo-RAG: preguntas y respuestas sobre video con recuperación aumentadaAjuste fino de un modelo de vídeo-lenguaje para tu dominioEficiencia en los modelos de vídeo-lenguajeEficiencia de tokensEficiencia del entrenamientoResumen
10. Modelos «cualquier cosa a cualquier cosa»
Presentación de los tres enfoquesModelos de vocabulario unificadoModelos híbridosModelos modularesModelos de vocabulario unificadoArquitectura monolíticaCabezas factorizadasModelos híbridos multiobjetivosAutoencodificadores variacionalesConectando latentes continuos con modelos de lenguaje a través de la difusiónPoniendo todo junto: del prompt a la salida generadaModelos de acondicionamiento tardíoInterfaces de condicionamiento: cómo representar la intenciónConectores: tendiendo puentesCómo usan el condicionamiento los generadoresPráctica: Qwen-Image-Edit, un editor de difusión modularEntrenamientoEquilibrio de tareas y mezcla de datosEntrenamiento por etapas: divide y vencerásFunciones de pérdida específicas de la arquitecturaManos a la obraResumen
11. Temas avanzados e investigación de vanguardia
Modelos de visión, lenguaje y agenciaIntroducción a los agentesIntroducción a SmolagentsAgentes de uso de computadorasModelos de visión-lenguaje-acciónCerrando el ciclo percepción-acciónDe VLM a VLAResumen del panorama de modelosResumen
Índice
Sobre los autores

Content preview from Modelos de lenguaje visual (Spanish Edition)

Acerca de los autores

Merve Noyan es una ingeniera de aprendizaje automático que trabaja en el equipo de ingeniería de promoción de ML en Hugging Face. Crea herramientas para que la gente pueda desarrollar modelos de lenguaje visual en todo el ecosistema de Hugging Face (transformers, TRL, smolagents). Antes trabajó para diferentes empresas creando soluciones basadas en la comprensión del lenguaje natural para la recuperación de información y agentes conversacionales.

Miquel Farré es un experto en tecnología de video con más de 15 años de experiencia y más de 60 patentes en aprendizaje automático y ciencias de la información. Su carrera comenzó en el Instituto Fraunhofer, donde diseñó códecs de video avanzados, y en Nagravision, donde desarrolló módulos de seguridad para la transmisión de video. Al pasar a la comprensión de video, Miquel se unió a Disney para diseñar la plataforma de metadatos de contenido empresarial, liderando iniciativas de aprendizaje automático en Pixar, Marvel, Lucasfilm, ABC y ESPN. Luego se pasó a YouTube, impulsando la monetización de las búsquedas antes de ampliar su enfoque para liderar la monetización de las secciones Inicio y Ver a continuación de la plataforma. Antes de unirse a Studio Jadu, trabajó en Hugging Face en modelos de lenguaje grandes multimodales para video y fundó Arbro AI para crear soluciones de agricultura automatizada.

Andrés Marafioti tiene un doctorado en aprendizaje automático aplicado, con especialización en métodos generativos ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Modelos de lenguaje grandes: las partes difíciles (Spanish Edition)

Publisher Resources

ISBN: 0642572302818

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills

Modelos de lenguaje visual (Spanish Edition)

by Merve Noyan, Andrés Marafioti, Miquel Farré, Orr Zohar

Acerca de los autores

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.