让我们试着理解 AI 的单义性
让神经网络更可解释的努力揭示出，人工“神经元”的稠密层可能编码了许多重叠概念，而这些概念有时可以被拆解成更清晰、更易被人理解的特征。评论者们围绕这类工作究竟能在多大程度上帮助我们真正理解 AI 系统展开了讨论，并借用 Bloom filter、几何以及人类概念形成等类比，同时争论人工神经元是否真的与生物神经元相似。整个讨论也反映出更广泛的不确定性：当前深度学习方法是否真的能够产生类人通用智能，以及谈论模型“想要什么”“在想什么”的拟人化语言，究竟是在澄清还是在掩盖这些系统实际做了什么。
训练方法与架构选择
- 有人反对把“奖励式伪组织 / 反向传播”视为训练网络的唯一方式，认为 Hopfield 网络和 Hebbian 学习也是可行替代方案。
- 也有人回应说，反向传播虽然在生物学上并不合理，却是工程上的巨大成功：它在现有硬件上表现很好，就像 transformer 击败 RNN 一样，尽管它在“理论上”未必更正确。
- 还有人担心，过于聚焦当前方法可能会让这个领域忽视更丰富、受生物启发的方法，而后者或许能带来下一波突破。
可解释性、单义性与叠加
- 几条评论重申了核心观点：自编码器可以揭示单义的“特征”，这些特征能够从混杂、叠加的内部激活中线性解码出来。
- 这被类比为 Bloom filter 或高维嵌入空间：许多概念被压缩进共享维度中，产生干扰和奇怪的连接。
- 有人认为这是朝着“工程化”神经网络迈出的一步（直接理解并编辑特征）；也有人怀疑它的实际价值，因为每次训练都会得到不同的权重配置。
嵌入、结构与压缩
- 关于 LLM 中看到的“结构”究竟是神经网络自发涌现的，还是仅仅反映了人类文化和文本中早已存在的结构，大家展开了争论。
- 很多人接受一种折中观点：模型是对网络内容的“有损压缩”；知识与智能与压缩紧密相关。
生物神经元与人工神经元，以及拟人化
- 对人工神经元和生物神经元究竟有多相似，存在激烈分歧。
- 一派认为：两者都只是计算的载体；只要实现了相似功能，机制上的差异并不重要。
- 另一派认为：生物神经元具有丰富的内部状态、复杂的化学过程、自我维持能力和可塑性，把它们等同于 ANN 的节点是误导性的。
- 相关的争论还包括对 AI 拟人化的看法：有人觉得“神经元想要 X”之类的说法危险且容易造成混淆；也有人为这种说法辩护，认为只要记住它是隐喻，它就是有用的类比。
AGI、进化与工程类比
- 一派认为，我们可以在不完全理解大脑的情况下构建 AGI，举例包括飞机与鸟、围棋引擎与人类策略，以及经验性工程的成功。
- 另一派则强调，大脑与当前 ANN 之间在硬件/软件层面存在巨大的鸿沟，并警告说，仅凭矩阵运算就假定二者等价，是一种“大胆”的跳跃。
- 也有人提到对齐问题：强大的系统可能不会共享人类道德，也不容易被解释。
数学与几何视角
- 有些人看到了神经网络与几何/群论之间的深层联系（Lie 群、tropical geometry、gauge-invariant networks）。
- 也有人质疑这种抽象到底“带来了什么”，而支持者则认为它可以揭示对称性、减少无谓搜索，并与丰富的既有数学建立联系。