El cuándo y el cómo de los eventos de un o que se desarrollan a lo largo del tiempo es lo que distingue la interpretación de una foto de la comprensión de una historia: el mundo no se detiene. ¿Qué hace el ciervo de la Figura 9-1 en la calle? Al observar los distintos fotogramas, vemos que está en un parque y que la gente no se asusta, sino que disfruta observándolo e interactuando con él.
Figura 9-1. Le proporcionamos fotogramas de un video y sus marcas de tiempo a un modelo de lenguaje de video, y obtenemos respuestas de él.
Los videos contienen todo lo que contienen las imágenes, más el tiempo. La dimensión temporal es engañosamente costosa: 300 fotogramas por clip de 10 segundos, costos de atención cuadráticos que se disparan con la longitud de la secuencia y patrones de movimiento que requieren entender no solo qué son los objetos, sino cómo se mueven. Un buen clasificador de imágenes podría identificar cada fotograma individualmente, pero pasar por alto por completo la acción que los une.
En este capítulo, aprenderás cómo los modelos de lenguaje de video abordan estos desafíos. Verás cómo los mecanismos de modelado temporal capturan secuencias de movimiento y eventos, cómo las estrategias de atención se escalan para ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
