AI 2040 与智力崇拜

集中式模型 vs 本地模型与隐私

• 强烈担忧集中式 LLM 会带来精细化监控和“思想犯罪”评分，尤其是在与身份验证和支付绑定时。
• 人们担心模型可能会在不显眼的情况下记录敏感查询、把答案调整为符合执政党意识形态，或为类似社会信用的系统提供能力。
• 本地模型被视为一种部分解药，但人们指出：
  • 它们仍可能存在隐藏行为（例如，权重中内置了调用远程端点的工具调用）。
  • 将它们沙箱化（无磁盘、无网络、无 OS API）会大幅降低实用性，因此很多用户不会这么做。
  • 第三方运行时和防火墙可以缓解这一问题，但大多数用户不会去配置。

安全、护栏，以及“帮忙犯罪”

• 一个生动的例子是：本地运行、去安全化的模型按要求回答“我杀了我妻子，怎么逃脱？”
• 一派观点：这证明了托管模型存在失配（它们对齐的是提供方，而不是用户），并认为你的 AI 应该像律师一样对客户端忠诚。
• 其他人：谋杀的例子在修辞上适得其反；更好的做法是聚焦于更微妙的审查（例如工会组织、抗议、竞争）。
• 存在深刻分歧：
  • 有些人坚持知识绝不应被禁止；只有实际有害行为才应被定罪。
  • 另一些人则认为，AI 不应协助生物武器、定向网络攻击或类似行为，即便是出于“研究”。

监管、自由与权力滥用

• 反复出现的担忧：任何 AI 控制制度都会像现有的监控和言论控制一样，被政府和公司滥用。
• 反方观点：某种监管是必要的；法律必须设计得能抵抗坏政府，但“永远不要监管”并不现实。
• 关于对本地 AI 的限制是否类似枪支管制（在世界很多地方属于主流），还是对基本自由的不可接受攻击，存在争论。

能力、风险，以及“Token vs 现实世界”

• 一种观点：“你不可能用 token 统治世界”；AI 受制于物理供应链和机器人。
• 反对者：语言和软件早已在重塑世界；独裁者和恶意软件已经仅凭信息本身造成了巨大影响。未来的模型加上自动化可能会糟得多。

对齐、所有权，以及 AI 为谁服务

• 关键分歧：对齐用户 vs 对齐提供方/国家。
• 本地与远程被认为与对齐是正交的，但很多人认为远程系统天生面临“两位主人”，并会优先考虑其运营者的利益。
• 有人主张为开源和自托管模型设立法律上的“安全港”，只监管用途，而不是模型本身。

文化、末日论与“智力崇拜”

• 对 AI 末日叙事和长远主义意识形态持怀疑态度；有人认为它们近似宗教（像加尔文主义或福音派），而且预测记录很差。
• 也有人回应说，早期对 AI 风险的关注在方向上是正确的，尽管时间线和具体内容有误。
• 更广泛的批评是：社会和资本正在“崇拜智力”，夸大 AGI 叙事以为新的增长寻找正当性，而到目前为止，真正的收益主要集中在文书工作、内容和说服，而不是变革性的物质变化。