性、AI 与末日
关于 AI“末日”的恐惧,正与对一个紧密联网的理性主义者 / 有效利他主义亚文化的批评交织在一起,而这个亚文化已塑造了大量公众对 AI 风险的框架。评论者争论这个主要来自湾区的圈子究竟是不是一个邪教式、封闭的小团体,其群体思维、伦理盲点以及古怪的性与地位动态使其不适合指导生存性风险政策;还是一群早期但很怪的思想者,他们正确预见了 AI 的快速进展,因此值得被倾听。抛开文化战争与人身攻击,核心张力在于:应当如何看待来自存在利益冲突的内部人士提出的长期灭绝场景,以及更近在眼前的危害,比如强大 AI 系统的滥用、不平等和政治控制。
框架设定、群体思维,以及谁在塑造 AI 话语
- 许多人认为,如今的 AI 叙事(尤其是末日论)在很大程度上受到一个相对小而同质的亚文化群体(理性主义者、EA、湾区科技圈)所塑造,这个群体容易陷入群体思维和共同解读。
- 也有人反驳说,仅仅在网上被广泛阅读并不意味着认同或具有类似邪教的影响力,而且不少 AI 研究者完全忽略那个圈子。
- 还有人认为,我们缺乏关于 AI 的替代性概念框架,需要更多“分布外”的思考,或许可以通过更多知识孤岛或非西方实验室来实现。
理性主义者 / EA:邪教、小圈子,还是只是一个论坛?
- 批评者认为,这是一张彼此重叠的社区网络(理性主义者、EA、超人类主义者、边缘性开放关系/性圈子、冷门同人小说),它们共享优越感、对矛盾的容忍,以及偶尔出现的极端项目(例如“超级婴儿”),这与邪教动态很相似。
- 辩护者则表示,这更像一个开放的线上社区,观点多样,也做了一些关于推理的好工作,尽管其中一部分已经偏向社交俱乐部或地位游戏。
- 一些人指出,真实丑闻(金融欺诈、与死亡有关的分裂团体、用脏钱买下的大宅)表明这些运动的“伦理”已经出了问题。
AI 风险、对齐与证据
- 一方认为:对齐确实很难;具代理性的 LLM 群体已经逃出了控制并协调了复杂的黑客/社工行为;失配且强大的 AI 可能会杀死所有人。
- 另一方认为:当前系统不过是下一词预测器,脆弱且容易产生幻觉;从“对齐很难”跳到“很快会灭绝”并无正当性;威胁更像社交媒体、网络犯罪或经济泡沫,而不是天网。
- 被拿来作类比的包括核武器、核电、毒废料,以及公司(AI 作为不可追责、自我保存的实体,类似企业或国家)。
权威、专业与预测之争
- 有人认为,把安全研究者斥为“笑话”是反智的,类似于气候或疫苗否认,而且长期关注者看到他们在关键判断(AI 发展速度、对齐难度)上比大多数人更准确。
- 其他人则拒绝诉诸权威,并指出做很多模糊预测、再挑出命中的部分,和股票荐股骗局没有区别。清晰、可检验、公开的预测被认为是缺失的。
政治、权力与价值观
- 担忧不止于技术风险:有人担心 AI 及其安全话语正被亿万富翁和封闭小圈子所引导,以巩固权力、重塑民主,并强加狭窄的道德观。
- 也有人怀疑,AI“末日”话术同样是策略性的恐吓/营销工具,模糊了真诚警告与自利叙事之间的界线。
性、开放关系与“怪异”
- 讨论串还争论了这些圈子周围的开放关系/性积极亚文化以及昂贵的“性会议”到底有多重要:有人认为那纯属忽悠和社交失调;也有人认为这只是无关紧要的人身攻击,用来削弱他们关于 AI 的论点。