Modelos de lenguaje visual (Spanish Edition)
by Merve Noyan, Andrés Marafioti, Miquel Farré, Orr Zohar
Capítulo 10. Modelos«Any-to-Any»
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Los modelos multimodales son geniales porque e n el lenguaje con el mundo en el que realmente vivimos. Los modelos de lenguaje visual (VLM) pueden ver imágenes y responder preguntas en lenguaje natural. Los modelos de video entienden cómo se desarrollan las acciones y cómo se manifiestan la causa y el efecto a lo largo del tiempo. Los modelos de audio pueden escuchar el habla y los sonidos. Todos ellos acercan la IA a una percepción similar a la humana.
¿Y si quieres crear un asistente que pueda ver, oír y hablar? Según lo que hemos visto hasta ahora, necesitarías un modelo de visión, un modelo de audio, un modelo de síntesis de voz y una coordinación cuidadosa entre ellos.
La próxima frontera son los modelos «any-to-any»: arquitecturas unificadas que gestionan la comprensión y la generación de texto, imágenes, audio y video dentro de un solo sistema (Figura 10-1).
Para ser verdaderamente «any-to-any», un modelo debe manejar al menos dos modalidades de entrada y dos modalidades de salida. Si eso suena ambicioso, lo es… y las decisiones de ingeniería que implica son fascinantes, como verás en este capítulo.
En particular, aprenderás sobre las tres tendencias arquitectónicas de los modelos «any-to-any», junto con sus ventajas y desventajas. También realizarás inferencias y entrenarás esos modelos para ganar experiencia y evaluar estos ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access