我们距离智能的视觉演绎推理有多远？

当前视觉 LLM 的能力

• GPT-4-Vision 以及类似模型在图像标注和描述等实用任务上表现出人意料地好。
• 只要引导它们避免主观或带评判性的语言，它们就能客观描述照片中的人物，不过安全过滤器有时会“很挑剔”。
• 在复杂场景中（例如卡车载着移动厕所、在低矮桥下，后面还有敞篷车），模型可以检测到危险，有时也能看出滑稽的结果，但往往需要很强的提示，而且可能漏掉关键元素（货物、立交桥、幽默感）。

视觉演绎推理的局限

• 模型往往即使不确定也会作答，常常给出自信但毫无意义的推理，而不是承认自己不知道。
• 它们经常无法把握物体之间的完整互动或隐含叙事（“接下来会发生什么？”或“这里有什么好笑？”）。

置信度、正确性与学习理论

• 讨论神经网络如何估计“置信度”：输出 token 概率、子网络之间或多次前向传播的一致性，或者外部事实核查。
• 若干评论认为，按设计，概率模型（PAC/BPP）在一般情况下无法可靠地知道自己何时出错。
• 对于把“达克效应（Dunning–Kruger）”作为标签存在分歧；有人认为这是一个误用的隐喻。

架构与多模态

• 当前的视觉-语言模型被视为“Frankenstein”式系统：独立的视觉模块先生成嵌入，再输入 LLM。
• 有人主张使用一个在文本和图像 token 上联合训练的单一 decoder-only transformer，预期会产生更丰富的行为（从 logo 生成 SVG、更好的 ASCII 艺术、从图像生成更结构化的代码）。
• 视频仍然很难：系统只采样少量帧，不像自动驾驶栈那样使用经过优化、面向任务的流水线。

统计智能 vs 符号智能

• 关于纯统计系统是否最终能达到人类水平智能，存在激烈争论。
• 批评者说，当前 ML 主要只是对（Q, A）对的“复杂压缩”，而不是真正的理解或因果建模。
• 也有人反驳说，大脑或许同样是由粒子构成的巨大统计系统；“一切都可能只是统计”。
• 讨论中反复呼吁重新重视知识表示、因果推理、混合符号-神经系统，以及可解释、能给出论证的 AI。

基准与特定任务解决方案

• Raven’s Progressive Matrices 和 ARC 基准：人类约 80%，而最佳模型约 25%。
• 简单的手工启发式（例如行/列求和、XOR 掩码）用几行代码就能几乎解出某些视觉智商测试，这表明这些基准可以在不具有人类式推理的情况下被“投机取巧”地破解。
• 当把某些抽象推理任务改写成一维、基于文本的问题时，GPT-4 的表现会更好。
• 专门的图像 token 预测模型可以把 RPM 类任务当作 inpainting 来处理，这暗示表示格式非常重要。

自动驾驶与现实世界影响

• 一些早先对端到端学习驾驶持怀疑态度的人，现在把视觉模型日益出现的“预测接下来会发生什么”的能力视为它最终可能奏效的证据。
• 也有人指出当前自动驾驶的失败，并认为涉及安全关键的决策（例如碰撞中的取舍）需要的不只是模式识别，这引出了伦理和设计问题。

创造力与应用

• 早期图像模型有时会生成诡异、非人类风格的艺术；有人遗憾进展把系统推向了更“安全”的换脸式图像，尽管也有人说仍然可以产生创造性输出。
• 实际用途包括通过大型视觉语料识别含糊的现实世界物体（例如部分没入水中的车辆）。