Modelos de lenguaje visual (Spanish Edition)
by Merve Noyan, Andrés Marafioti, Miquel Farré, Orr Zohar
Capítulo 11. Temasavanzados e investigación de vanguardia
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Empezamos este viaje reflexionando sobre nuestra naturaleza como seres sociales y visuales: criaturas que evolucionaron para percibir el mundo a través de la vista y coordinarse mediante el lenguaje. La percepción y la comunicación por sí solas nunca fueron suficientes para sobrevivir; nuestros antepasados tenían que actuar en función de lo que veían y discutían: tenían que cazar, construir, orientarse y colaborar para dar forma a su entorno.
A medida que los modelos de lenguaje visual (VLM) maduran más allá de una comprensión pasiv, nos enfrentamos a un desafío paralelo: lograr que los sistemas de IA no solo vean y hablen, sino que también actúen. Este capítulo explora ese desafío en dos ámbitos que comparten la misma idea central. En el mundo digital, los agentes usan los VLM para razonar, planificar y ejecutar acciones a través de herramientas e interfaces gráficas: hacer clic en botones, llenar formularios y escribir código. En el mundo físico, los modelos de visión-lenguaje-acción (VLA) toman las mismas capacidades de ver y comprender y las conectan a los motores de los robots: recoger objetos, doblar la ropa y servir café; patrones arquitectónicos muy similares, pero con implementaciones diferentes. Comenzarás aprendiendo sobre los agentes digitales y luego pasarás a los físicos.
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access