一个失败的 AI 女友产品,以及我的经验教训
一篇关于短命“AI 女友”应用的文章引发了争论:这类产品究竟是在缓解孤独,还是在加深社会隔离与剥削。评论者强调,OpenAI 的 NSFW 和安全政策可能会突然摧毁建立在其 API 之上的商业模式,从而推动一些开发者转向自托管或开源模型。在技术与商业角度之下,更深层的是对亲密关系商品化、操控脆弱用户,以及逼真虚拟伴侣长期社会影响的广泛焦虑。
伦理和社会影响
- 许多人认为 AI 恋爱伴侣本质上就是反乌托邦的:工业化的“技术毒品”,利用孤独,恶化社会疏离,并可能进一步压低出生率。
- 也有人认为,对那些极不可能拥有伴侣关系的人(由于残障、外貌、社交技能、人口结构等原因)来说,这可能是一种人道的选择,或是一种“减害”,并且可能减少社会暴力。
- 有人担心,这类产品会让人更固守逃避,而不是鼓励成长,类似于用娱乐来逃离,而不是改善自己的生活。
- 几条评论强调,社会结构和约会市场本来就已经坏掉了;AI 伴侣可能只是症状,而不是根本原因。
关于孤独、心理健康和“减害”的看法
- 有人将其与抗抑郁药和止痛药作比较:是在治疗症状而非病因。一些人认为临时缓解是可以接受的;另一些人则说这是一种陷阱。
- 有人担心,自闭症患者或其他脆弱人群尤其容易陷入拟社会循环,而不是去建立真正的技能和关系。
审查、NSFW 政策和平台依赖
- 对 OpenAI 的 NSFW 限制有强烈批评,认为它们过于保守、受支付处理方影响,并提醒不要在单一且不透明的 API 之上构建。
- 也有人认为,在这里阻止情色用途是好事,考虑到该产品在隐私和伦理方面都还很不成熟。
- 几条建议认为,开源、可本地运行的 LLM 是无审查或亲密用途的唯一可持续路径。
隐私、操控和商业模式
- 人们严重担忧开发者和第三方会掌握大量极度私密或性内容聊天的完整日志;这可能导致身份暴露或勒索。
- 还有人担心极端变现:情感上“被俘获”的用户会被兜售剥削性功能(例如模拟绑架、通过付费来拒绝给予情感回应)。
- 将其类比为赌博、移动端“鲸鱼”变现,以及 Replika 在情色功能上的反复横跳,说明这种依附关系既强大又脆弱。
技术/产品层面的收获
- 使用量高度失衡:极少数用户消耗了大多数 token,因此如果没有上限,固定订阅制风险很高。
- 逼真的 TTS 和语音非常重要;带图像 + 声音的伴侣很快就会出现,或者已经存在。
- 许多人认为,除非 GPT 外壳产品能增加真正价值、分散模型来源或自托管,否则它们只是脆弱的“中间商”产品。
元讨论和文化框架
- 有人指出,这篇文章读起来像一集个人版的《黑镜》或《弗兰肯斯坦》故事。
- 也有人感叹,技术人员总是把反乌托邦科幻(《她》、 《黑镜》、 《西部世界》)当成产品路线图,而不是警告。