Modelos Generativos: O que sabem? Sabem mesmo coisas? Vamos descobrir

Acesso / Configuração

• Alguns usuários viram problemas de SSL no site principal; outros confirmaram o certificado e forneceram o espelho no GitHub.
• Detalhes da impressão digital do certificado foram compartilhados para mostrar que ele é válido, pelo menos de algumas localizações.

Representações Internas 3D / de Cena

• Muitos ficam impressionados com o fato de que modelos generativos de imagens aparentemente representam implicitamente profundidade, normais de superfície, albedo e possivelmente propriedades de material como especularidade.
• Isso é comparado a pipelines tradicionais de rendering fisicamente baseado e a deferred shading/G-buffers.
• O fato de modelos autoregressivos e de diffusion, treinados apenas com imagens 2D + texto, produzirem mapas de profundidade/normais de alta qualidade surpreende as pessoas e é tomado como evidência de um “world model” interno ou de um motor 3D.

“Compreensão” vs Papagaios Estocásticos

• Um lado argumenta que esses modelos claramente aprendem estruturas abstratas, interpretáveis por humanos, enfraquecendo a visão de “papagaio estocástico” / mera regurgitação.
• Outros respondem que há “zero evidência” de compreensão genuína e que os modelos ainda estão apenas otimizando para reproduzir estatísticas dos dados de treino.
• Uma visão intermediária: “compreensão” é melhor pensada como ter um modelo causal interno que generaliza; por esse critério, ela é um espectro, não um binário.

Qualia, Consciência e Comparação com Humanos

• Alguns equiparam a crítica à compreensão da IA a debates antigos sobre almas.
• Outros insistem que há uma lacuna fundamental: humanos têm qualia e vontade; modelos não têm, e nem sabemos como detectar isso.
• Há resistência à ideia de que qualia possam ser mal definidos e talvez redutíveis a estados internos e auto-modelos; se for assim, sistemas como esses talvez acabem se qualificando.

Ceticismo sobre World Models

• Críticos argumentam que um raciocínio 3D consistente eliminaria artefatos (membros extras, perspectivas ruins), que ainda ocorrem.
• Alguns observam que ferramentas tradicionais conseguem estimar normais/profundidade a partir de uma única imagem sem alegar simulação completa do mundo.
• Não está claro se a UNet subjacente já foi treinada alguma vez com dados pareados de G-buffer; alguns suspeitam que isso poderia ser uma “secret sauce” escondida.

Como o I-LoRA Funciona (Em Alto Nível)

• As explicações enfatizam que o I-LoRA adiciona um pequeno número de parâmetros treináveis (LoRA) sobre um modelo base congelado e ajusta apenas esses parâmetros.
• Como menos de 1% dos parâmetros é alterado e ainda assim surgem normais/profundidade de boa qualidade, comentaristas inferem que o modelo base já contém representações quase prontas; o LoRA apenas as “lê”.

Aplicações e Extensões

• As pessoas preveem benefícios para VR/spatial computing (vistas estereoscópicas), reconstruções 3D reilumináveis (por exemplo, gaussian splatting) e melhores mapas de profundidade — embora alguns observem que mapas de profundidade típicos falham em uso real.
• Há curiosidade sobre se técnicas semelhantes poderiam ser aplicadas a modelos de texto (por exemplo, edição de conhecimento factual) e a outros sistemas generativos, incluindo NN gerando NNs.

Sora, Simulação do Mundo e Alucinações

• Alguns ligam esse trabalho às reações ao Sora, tomando ambos como evidência de que modelos de vídeo executam uma simulação física implícita em vez de apenas “colar clipes juntos”.
• Outros destacam artefatos gritantes do Sora (por exemplo, membros extras) como motivo para duvidar de uma modelagem física robusta.
• Alucinações humanas e distorções oníricas são citadas como analogia: saídas defeituosas não significam necessariamente ausência de um world model.

Tamanho do LoRA e “Extração Real” vs Novo Modelo

• Uma preocupação é que um LoRA com milhões de parâmetros possa estar fazendo a maior parte do trabalho, criando normais/profundidade plausíveis em vez de realmente expor estrutura já existente.
• Os defensores apontam controles: quando o LoRA é treinado sobre uma UNet inicializada aleatoriamente, os mapas intrínsecos colapsam, sugerindo que as features do modelo pré-treinado são essenciais.

Uso em Imagens Reais e Extração de Profundidade / Normais

• A alegação do paper de que modelos de diffusion são estruturas image-to-image torna a aplicação a fotos reais direta.
• Profundidade e normais de fotos reais são demonstradas; albedo/iluminação a partir de fotos reais permanecem especulativos, mas são vistos como especialmente empolgantes para relighting.

Relação com Trabalhos Mais Amplos de Interpretabilidade

• Os comentaristas conectam isso a outros resultados de interpretabilidade mecânica (por exemplo, estrutura interna em transformers que jogam Othello, edição de fatos em LLMs).
• O quadro emergente: grandes modelos generativos codificam representações intermediárias ricas, que podem ser acessadas com treinamento extra relativamente leve.

Financiamento e Reação ao Título / Cultura Pop

• Há divertimento e alguma surpresa com financiadores corporativos (por exemplo, empresas automotivas e de software criativo) apoiando uma pesquisa com um título extravagante, inspirado em TV.
• A referência ao gameshow de Bojack Horseman é amplamente apreciada, levando a discussões sobre a mistura de humor e pessimismo da série e como isso espelha o enquadramento brincalhão do paper para um trabalho sério.