关于 Anthropic 新密码分析结果的一些想法
Anthropic 关于 AES 的新密码分析结果，主要是通过告诉一个未发布的模型“继续”就得到的，这正在促使人们重新审视现代 LLM 的能力，以及复杂提示词工程的价值。评论者指出，简单、迭代式的提示现在就能挖掘出非平凡的数学与安全发现，同时也在争论“华丽版自动补全”是否仍然足以描述这些越来越像“机械化注意力”、横跨整个人类知识语料库运作的模型。讨论进一步扩展到什么算智能或 AGI、当前模型的边界，以及这些工具正以多快的速度重塑密码学、网络安全和软件开发等领域。
提示词 vs. “流程工程”
- 几条评论指出，这些密码分析结果和近期的数学突破都来自极其简单的提示，比如“继续”或“你应该做出一个突破”。
- 这让一些人质疑复杂的“提示词工程”做法，认为当前模型对简短、自然的指令反应良好。
- 另一些人则认为这不应被称为提示词工程，而更像是“流程工程”：设计迭代式工作流和反馈回路，让领域专家能够系统性地推动模型取得更好的结果。
模型能力、局限与过滤器
- 评论者强调，AES 相关工作凸显了当前模型在系统性应用已知技术方面的强大能力，而不是发明某种奇异的新方法。
- 许多人反驳“华丽版自动补全”这一说法，认为下一词预测也能产生出人意料的深度推理与发现，尤其是在后训练和工具加持下。
- 也有人为这个说法辩护，认为它是一个有用的本体论提醒：这些是统计文本引擎，而不是有感知的智能体，尽管其结果仍然可能非常惊人。
- 有人对强安全过滤器和自动降级（例如，因看似无害的生物学或历史问题而从 Mythos/Fable 降到更弱的模型）感到不满。
智能、意识与 AGI 的定义
- 一个很长的分支线程在讨论“智能”、“意识”和“AGI”到底意味着什么。
- 有人认为，下一词预测器并不排除高级推理甚至意识；也有人说，LLM 显然缺乏持续体验和其他关键属性。
- AGI 的定义各不相同：在人类的大多数任务上达到人类水平；能够自我改进的超级智能；或者仅仅是当前 LLM 已经能匹配中位数人类的文本能力。
- 大家的共识是，门槛一直很模糊，而 LLM 也暴露出许多彼此不兼容的 AGI 定义并存这一事实。
LLM 作为“机械化注意力”
- 有一种类比是：LLM 就像“机械化注意力”或超高速研究图书管理员，能够浮现并重组海量既有知识。
- 这可能会通过让深厚的既有工作变得可获得，而“抬高解决方案的下限”，即使对快速或玩具项目也是如此。
- 也有人担心，过度依赖 LLM 可能会使人的技能和独立思考能力退化。
密码学相关担忧
- 少数参与者提到，对于那种基于狭窄、高度受限攻击而写出的“AES 已被攻破”式标题已经感到疲劳。
- 也有人担心，AI 生成的密码分析会增加低价值、博眼球的加密类帖子，同时也会带来真正的进展。