Semana 1: investigación externa y 8 experimentos

Los modelos líderes y sus arquitecturas. Google Imagen Video genera video de unos 5 segundos en cascada: un modelo base de baja resolución seguido de redes de super-resolución espacial y temporal hasta alcanzar 1280×768 a 24 fotogramas por segundo. OpenAI Sora extiende esto a clips de hasta un minuto con escenas complejas y múltiples personajes. Stable Video Diffusion (código abierto) y las herramientas comerciales Runway Gen-2 y Gen-3 añaden control de fotogramas clave (fijar el primer y el último) y sincronización labial. En paralelo, los NeRF dinámicos (ST-NeRF, DyNeRF) sintetizan escenas 4D desde captura multicámara real, con la ventaja de que cada elemento se puede editar por separado, a un costo de entrenamiento estimado de 900 a 3,000 USD en GPU, frente a los cerca de 30,000 USD reportados para modelos difusivos comparables como DVD-GAN.

Los siete problemas que persisten, con sus métricas de medición

Las técnicas de corrección selectiva que ya existen, sin regenerar todo el video: segmentación espacial y temporal para aislar la región con error; edición en espacio latente (ajustar pesos de difusión a un solo video, técnica Tune-A-Video); inpainting condicional guiado por texto sobre la región enmascarada (VideoPainter, con doble rama que separa fondo estable de primer plano generado); re-render parcial en pipelines híbridos 3D e IA; y cacheo de representaciones intermedias. HetCache identifica qué partes de la atención de un video-transformer son redundantes (un fondo estable, por ejemplo) y las congela en vez de recalcularlas en cada paso de denoising, con una aceleración medida de aproximadamente 2.7×, con pérdida mínima de fidelidad.

El vacío real que deja este panorama: casi toda la investigación de 2025 y 2026 mejora la composicionalidad dentro de la red neuronal (grafos de escena como condicionamiento de entrada, mejoras en atención y decodificación VAE). No le da al usuario una representación externa, editable, con costo de re-render medido por elemento. Ahí es exactamente donde vive la propuesta de IVP.

DaVinci Resolve y Premiere Pro generan copias de baja resolución para editar fluido y reenlazan al original en la exportación, el mismo principio detrás de la hipótesis H37 de este proyecto (bocetar barato, exportar caro). La diferencia real es que la industria no calcula un punto de equilibrio numérico. Un caso documentado dice literalmente que, para una entrega de un día, generar proxies puede costar más de lo que ahorra: es juicio de editor experimentado, no una curva de costo medida.

En gráficos de tiempo real, el mismo principio aparece en dynamic resolution scaling y en upscalers como AMD FSR: renderizar a resolución reducida y reconstruir le gana al render directo precisamente porque el compositing de múltiples capas escala peor que el rasterizado simple, validado en un paper reciente de renderizado de transparencia (STAR-NT, arXiv 2606.16747). Este es un hallazgo que este proyecto obtuvo de forma incidental en la propia hipótesis H39, y que resulta ser un principio ya conocido en esa comunidad: una señal de que el modelo de costo usado aquí no está inventando física falsa.

Lo que sí es poco común es la combinación específica de una representación editable con costo de re-render medido explícitamente por elemento, más un punto de equilibrio K* formal, más evidencia visual honesta del límite de la aproximación. Casi nadie construye video generativo sobre una representación estructurada externa al modelo: la mayoría edita dentro de la red (latentes, atención, fine-tuning).

El comparativo económico que hay que citar con cuidado: lograr control determinístico fotograma a fotograma en un modelo de difusión hoy suele requerir fine-tuning de un modelo personalizado. Guías de industria agregadas, sin fuente primaria verificada, hablan de 5,000 a 20,000 USD y de 2 a 4 semanas de trabajo. Frente a eso, la corrección quirúrgica por elemento de este proyecto cuesta milisegundos, pero es una comparación de peras con manzanas (un lado genera fotorrealismo, el otro hoy genera rectángulos deterministas) y debe presentarse con esa salvedad explícita.

Los modelos de visión-lenguaje que ingieren video hoy

Los benchmarks, y por qué son la cifra más importante del documento

• Video-MME (CVPR 2025, 900 videos, 254 horas): Gemini 2.5 Pro acertó 84.8% frente a 71.9% de GPT-4o [Video-MME, CVPR 2025].
• Video-MME-v2 (2026, más exigente): Gemini 3 Pro obtuvo 49.4 frente a 39.1 del mejor modelo abierto (Qwen3.5) [Video-MME v2, 2026]. La caída de números absolutos entre v1 y v2 muestra que v1 ya estaba saturada.
• VideoZeroBench (2026, verificación estricta espacio-temporal de punta a punta): Gemini 3 Pro, el modelo frontera, respondió correctamente menos del 17% de las veces [VideoZeroBench, 2026]. Este es el hallazgo que debería reordenar cualquier plan de lectura de video con IA: incluso el mejor modelo general del mundo falla en decir dónde está algo con precisión.
• EgoTempo: con un solo fotograma suelto, Gemini Flash acertó 9.1%, casi lo mismo que sin ver nada (10.0% en modo solo texto) [EgoTempo, CVPR 2025]. Un fotograma aislado no aporta casi nada.
• 1H-VideoQA: muestrear 16 fotogramas dio 45.2% de acierto; muestrear todos los fotogramas a 1 fps subió a 72.2% [1H-VideoQA, 2025]. Más fotogramas ayudan, pero la curva se aplana mientras el costo sigue subiendo.

La pieza que resuelve la geometría: SAM 3 y SAM 3.1, de Meta

SAM 3 (19 de noviembre de 2025) introduce Promptable Concept Segmentation: acepta una frase corta (por ejemplo, "pelota roja") o un ejemplar visual y devuelve máscaras con identidad estable para todas las instancias que coincidan, en imagen y video. Tiene 848 millones de parámetros, entrenado sobre 270 mil conceptos únicos, más de 50 veces el vocabulario de benchmarks anteriores [SAM 3, Meta, 2025]. Meta lo diseña explícitamente para usarse como herramienta de percepción dentro de un LLM multimodal: el LLM genera la descripción larga, SAM 3 la traduce a máscara.

SAM 3.1 (27 de marzo de 2026) es un reemplazo directo, sin cambiar la API, enfocado en eficiencia de video: introduce Object Multiplex, una memoria compartida que rastrea hasta 16 objetos en un solo forward pass, en vez de una pasada por objeto. El resultado medido pasó de 16 a 32 fps en H100 con conteo medio de objetos, y llegó a ser hasta 7 veces más rápido con 128 objetos, sin pérdida de precisión de segmentación [SAM 3.1, Meta, 2026].

La cifra más contundente de todo el corpus de investigación: SAM 3.1, un modelo abierto de 848 millones de parámetros, supera a Gemini 2.5 Pro y a OWLv2 en precisión, en escenas concurridas y tareas interactivas de detección y seguimiento [SAM 3.1, Meta, 2026]. Traducido: un modelo abierto y relativamente pequeño le gana a un modelo frontera de propósito general en la tarea exacta que la percepción de video necesita. La geometría no debe pedírsele al VLM generalista, debe venir de un modelo determinista especializado.

Qué formato usar para representar lo percibido

Ningún formato existente cubre las cuatro cosas que un video necesita: identidad, geometría, eventos en el tiempo, y posibilidad de edición.

El caso TwelveLabs es la validación de mercado más fuerte encontrada: un jugador comercial (Marengo 3 más Pegasus) convergió de forma independiente al mismo principio de construir el índice una vez y consultarlo muchas, con Pegasus razonando sobre arcos temporales de hasta 2 horas y Marengo con 78.5% de exactitud compuesta en 47 idiomas [TwelveLabs Marengo 3.0]. Cobran cerca de 8 veces más por minuto que una llamada nativa a Gemini y aun así tienen negocio: la amortización funciona. Pero su índice son vectores, no se puede inspeccionar, diferenciar en git, ni editar quirúrgicamente. Ese es exactamente el hueco que un formato simbólico y editable como IVP viene a llenar.

El formato de salida en sí: JSON, TOON o estructurado

• TOON frente a JSON minificado (el benchmark real, no contra JSON con sangría): ahorro real de 20 a 35% en arreglos uniformes (tracklets, registros), pero sobrecosto de 15 a 20% en estructuras profundamente anidadas [Experimento E4, IVP]. Esto es exactamente lo que el propio experimento E4 de este proyecto confirmó con contenido IVP real.
• Las restricciones de formato degradan el razonamiento: un paper de EMNLP 2024 (Tam et al.) midió que forzar salida estructurada estricta cuesta 10 a 15% de degradación en la calidad del razonamiento del modelo, comparado con dejarlo razonar libre y estructurar después [Tam et al., EMNLP 2024].
• El hallazgo incómodo sobre "estructura válida no es lo mismo que valores correctos": un benchmark de salida estructurada de 2026 midió exactitud de valores dentro de estructura sintácticamente válida: 83% con entrada de texto, 67.2% con imagen, apenas 23.7% con audio [Structured Output Benchmark, 2026]. La estructura puede estar perfecta y el contenido mal, un error silencioso que ningún validador de esquema detecta.

La economía real: por qué "100 veces" no es la cifra correcta

Este es el hallazgo más honesto de toda la investigación externa. La intuición inicial de comparar IVP contra leer 20 o 30 fotogramas sueltos es un hombre de paja: el competidor real en 2026 es una sola llamada nativa de video a Gemini, que cuesta cerca de $0.005 por minuto [Gemini pricing], y Google ya ofrece 90% de descuento en caché de contexto reutilizado [Google Context Caching]. En la práctica, es un índice persistente que el proveedor ya vende.

Contra ese competidor bien configurado, el punto de equilibrio K* de un formato como IVP se calcula así: K* = costo de construcción ÷ (costo de una pasada completa − costo de una consulta de texto). Sin caché del proveedor, K* es bajo (2 a 3 consultas) e IVP gana rápido. Con caché del proveedor activado, K* sube considerablemente (entre 20 y 40 consultas aproximadamente) e IVP puede no ganar por costo puro.

La conclusión que vale la pena citar textualmente: "Frente a un competidor bien configurado, IVP no se justifica por costo. Se justifica por lo que el caché no puede hacer: ser inspeccionable, diferenciable, versionable en git, editable quirúrgicamente, y durable más allá del tiempo de vida de un caché de proveedor." El 100× real no vive en la primera lectura, vive en la consulta número K y en la edición quirúrgica.

Los tres principios técnicos con analogía directa a IVP

1. No confiar en marcadores ni pilotos: heliogram descubrió que los pilotos tradicionales (bordes, esquinas) pierden el 87.3% de los datos por sesgo estructural; usar los datos ya decodificados y verificados por CRC como referencia es más confiable.
2. Los errores concentrados le ganan a los errores dispersos por 7.7 veces: distribuir errores entre fotogramas (interleaving) es contraproducente, heliogram lo midió directamente. Esta es la validación externa más fuerte de que la corrección quirúrgica por elemento, en vez de parchear un poco de todo, es la estrategia correcta.
3. Umbral local, no global: cambiar un umbral único por ventanas de 15×15 celdas duplicó el rendimiento de heliogram, de 19.8% a 39.2% de codewords recuperados.

Esta es la hipótesis que amarra toda la investigación de lectura de este proyecto. La apuesta es que un modelo que recibe una escena ya descrita como datos (quién, dónde, cuándo) no necesita redescubrir esa estructura mirando cada píxel de cada fotograma. La ganancia de eso crece más que linealmente con la duración del video, porque adivinar desde píxeles crudos se encarece con cada fotograma nuevo, mientras que leer estructura ya resuelta no.

La condición que decide si esto es cierto o es una ilusión contable: la ganancia solo existe si construir esa estructura, de píxel a IVP, es en sí misma barata (lineal). Si construirla exige una pasada de atención global sobre los píxeles crudos, el costo no desaparece, solo cambia de lugar. Por eso el sistema de seguimiento clásico SORT/DeepSORT es la referencia correcta: mantiene estado persistente por objeto y lo actualiza fotograma a fotograma en tiempo lineal, sin releer todo el historial cada vez, el mismo principio detrás de la compuerta H28 de este proyecto.