Quão longe estamos do raciocínio dedutivo visual inteligente?
Capacidades visuais atuais dos LLMs
- GPT-4-Vision e modelos semelhantes têm um desempenho surpreendentemente bom em tarefas práticas como etiquetar e legendar imagens.
- Eles conseguem descrever objetivamente pessoas em fotos quando direcionados para longe de linguagem subjetiva ou julgadora, embora os filtros de segurança possam ser “temperamentais”.
- Em cenas complexas (por exemplo, caminhão com banheiros químicos sob uma ponte baixa, conversível atrás), os modelos podem detectar perigo e às vezes o desfecho cômico, mas frequentemente precisam de pistas fortes e podem deixar passar elementos-chave (carga, viaduto, humor).
Limites do raciocínio dedutivo visual
- Os modelos tendem a responder mesmo quando estão incertos, muitas vezes produzindo racionalizações confiantes, porém sem sentido, em vez de admitir ignorância.
- Eles frequentemente falham em compreender a interação completa entre objetos ou a narrativa implícita (“o que está prestes a acontecer?” ou “o que há de engraçado aqui?”).
Confiança, correção e teoria da aprendizagem
- Discussão sobre como redes neurais poderiam estimar “confiança”: probabilidades dos tokens de saída, concordância entre sub-redes ou passagens repetidas, ou verificação externa de fatos.
- Vários comentários argumentam que, por projeto, modelos probabilísticos (PAC/BPP) não conseguem saber de forma confiável quando estão errados no caso geral.
- Há discordância sobre usar “Dunning–Kruger” como rótulo; alguns dizem que é uma metáfora aplicada de forma inadequada.
Arquiteturas e multimodalidade
- Os modelos atuais de visão-linguagem são vistos como sistemas “Frankenstein”, com módulos visuais separados alimentando embeddings em um LLM.
- Alguns defendem um único transformer decoder-only treinado conjuntamente em texto e tokens de imagem, esperando comportamentos mais ricos (SVG a partir de logotipos, melhor arte ASCII, código mais estruturado a partir de imagens).
- Vídeo continua difícil: os sistemas amostram alguns quadros, ao contrário de pilhas de direção autônoma que usam pipelines otimizados e específicos para a tarefa.
Inteligência estatística vs. simbólica
- Há um forte debate sobre se sistemas puramente estatísticos algum dia poderão atingir inteligência de nível humano.
- Críticos dizem que o ML atual é principalmente “compressão sofisticada” de pares (Q, A), não compreensão genuína nem modelagem causal.
- Outros respondem que os cérebros também podem ser enormes sistemas estatísticos sobre partículas; “tudo pode ser estatística”.
- Há apelos recorrentes por trabalho renovado em representação de conhecimento, raciocínio causal, sistemas híbridos simbólico-neurais e IA interpretável que produza argumentos.
Benchmarks e soluções específicas por tarefa
- Matrizes Progressivas de Raven e o benchmark ARC: humanos ≈80% vs. melhores modelos ≈25%.
- Heurísticas simples e feitas à mão (por exemplo, somas por linha/coluna, máscaras XOR) podem quase resolver alguns testes visuais de QI em poucas linhas de código, sugerindo que esses benchmarks podem ser “explorados” sem raciocínio semelhante ao humano.
- O GPT-4 se sai melhor em certas tarefas de raciocínio abstrato quando elas são reformuladas como problemas de texto em 1D.
- Modelos especializados de previsão de tokens de imagem podem lidar com tarefas no estilo RPM como inpainting, sugerindo que o formato da representação importa muito.
Direção autônoma e implicações no mundo real
- Alguns céticos anteriores da aprendizagem end-to-end para direção agora veem a capacidade emergente dos modelos visuais de prever “o que acontece a seguir” como evidência de que isso pode acabar funcionando.
- Outros observam as falhas atuais da condução autônoma e argumentam que decisões críticas para a segurança (por exemplo, trade-offs em colisões) exigem mais do que reconhecimento de padrões, levantando questões éticas e de projeto.
Criatividade e aplicações
- Os primeiros modelos de imagem às vezes produziam arte estranha, não humana; alguns lamentam que o progresso tenha empurrado os sistemas para imagens mais “seguras” no estilo troca de rostos, embora outros digam que ainda é possível obter saídas criativas.
- Casos de uso práticos incluem identificar objetos ambíguos do mundo real (por exemplo, veículos parcialmente submersos) por meio de grandes corpora visuais.