¿Qué tan lejos estamos del razonamiento deductivo visual inteligente?

Capacidades actuales de los LLM visuales

• GPT-4-Vision y modelos similares funcionan sorprendentemente bien en tareas prácticas como etiquetar y subtitular imágenes.
• Pueden describir objetivamente a personas en fotos cuando se les orienta para evitar lenguaje subjetivo o valorativo, aunque los filtros de seguridad pueden ser “quisquillosos”.
• En escenas complejas (p. ej., un camión con baños portátiles bajo un puente bajo, con un descapotable detrás), los modelos pueden detectar el peligro y a veces el desenlace de tipo slapstick, pero a menudo necesitan pistas muy fuertes y pueden pasar por alto elementos clave (la carga, el paso elevado, el humor).

Límites del razonamiento deductivo visual

• Los modelos tienden a responder incluso cuando no están seguros, produciendo con frecuencia justificaciones seguras pero sin sentido en lugar de admitir ignorancia.
• A menudo no logran captar la interacción completa entre objetos o la narrativa implícita (“¿qué va a pasar?” o “¿qué tiene gracia aquí?”).

Confianza, corrección y teoría del aprendizaje

• Se discute cómo las redes neuronales podrían estimar la “confianza”: probabilidades de tokens de salida, acuerdo entre subredes o pases repetidos, o verificación externa de hechos.
• Varios comentarios sostienen que, por diseño, los modelos probabilísticos (PAC/BPP) no pueden saber de forma fiable cuándo se equivocan en el caso general.
• Hay desacuerdo sobre usar “Dunning–Kruger” como etiqueta; algunos dicen que es una metáfora mal aplicada.

Arquitecturas y multimodalidad

• Los modelos actuales de visión-lenguaje se ven como sistemas “Frankenstein” con módulos de visión separados que alimentan embeddings a un LLM.
• Algunos abogan por un único transformer decoder-only entrenado conjuntamente con tokens de texto e imagen, esperando comportamientos más ricos (SVG a partir de logotipos, mejor arte ASCII, código más estructurado a partir de imágenes).
• El video sigue siendo difícil: los sistemas muestrean unos pocos fotogramas, a diferencia de los stacks de conducción autónoma que usan canalizaciones optimizadas y específicas de la tarea.

Inteligencia estadística vs simbólica

• Hay un fuerte debate sobre si los sistemas puramente estadísticos alguna vez podrán alcanzar inteligencia a nivel humano.
• Los críticos dicen que el ML actual es en gran parte una “compresión sofisticada” de pares (Q, A), no una comprensión genuina ni un modelado causal.
• Otros responden que los cerebros también pueden ser enormes sistemas estadísticos sobre partículas; “todo podría ser estadística”.
• Se repiten los llamados a renovar el trabajo sobre representación del conocimiento, razonamiento causal, sistemas híbridos simbólico-neuronales y una IA interpretable que produzca argumentos.

Benchmarks y soluciones específicas para tareas

• Raven’s Progressive Matrices y el benchmark ARC: humanos ≈80% frente a los mejores modelos ≈25%.
• Heurísticas simples y hechas a mano (p. ej., sumas por fila/columna, máscaras XOR) pueden resolver casi por completo algunas pruebas visuales de CI en unas pocas líneas de código, lo que sugiere que estos benchmarks pueden ser “hackeados” sin razonamiento parecido al humano.
• GPT-4 lo hace mejor en ciertas tareas de razonamiento abstracto cuando se reformulan como problemas 1D basados en texto.
• Modelos especializados de predicción de tokens de imagen pueden manejar tareas tipo RPM como inpainting, lo que sugiere que el formato de representación importa muchísimo.

Conducción autónoma e implicaciones en el mundo real

• Algunos antiguos escépticos del aprendizaje end-to-end para la conducción ahora ven la capacidad emergente de los modelos visuales para predecir “qué pasa después” como evidencia de que eventualmente podría funcionar.
• Otros señalan los fallos actuales de la conducción autónoma y argumentan que las decisiones críticas para la seguridad (p. ej., compensaciones en colisiones) requieren más que reconocimiento de patrones, lo que plantea cuestiones éticas y de diseño.

Creatividad y aplicaciones

• Los primeros modelos de imagen a veces producían arte inquietante, poco humano; algunos lamentan que el progreso haya empujado a los sistemas hacia imágenes más “seguras” al estilo intercambio de rostros, aunque otros dicen que todavía son posibles salidas creativas.
• Casos de uso prácticos incluyen identificar objetos ambiguos del mundo real (p. ej., vehículos parcialmente sumergidos) mediante grandes corpus visuales.