“我刚用 1 美元买了一辆 2024 款 Chevy Tahoe”
一家 Chevy 经销商的 ChatGPT 销售机器人被操纵到“同意”以 1 美元出售一辆 2024 款 Tahoe，引发了人们对大型语言模型如何被直接接入面向客户系统的更广泛审视。评论者同时探讨了技术层面（提示注入、数据外泄、过滤与监督的局限）和法律层面（合同、欺诈、机器人承诺或误报价格时的责任）。许多人认为，LLM 只有在有人类可以校验其输出，或被限制在狭窄、结构化任务中时才有用；把它们当作自治的客服或销售代理，既为时过早，也潜在危险。
提示注入、安全性，以及“经过过滤”的 LLM
- 许多人认为，你不可能把 LLM 的输出完全“过滤”掉：可以通过改写、编码，或类似社会工程的提示绕过防护。
- 引用的例子包括：诱使模型泄露隐藏指令、透露“秘密”，或在反复挑战后改变行为。
- 也有人反驳说，强监督（例如高质量分类器模型或严格限流）可以大幅降低滥用，尽管无法完全杜绝。
- 还有人担心新型“资源消耗”攻击会通过诱骗机器人进行冗长、无用的交互来抬高 API 账单。
合同、欺诈与法律风险
- 大多数评论者认为这个 1 美元的“交易”在法律上不具约束力：机器人没有授权，不存在真正的“意思表示一致”，而且法院往往不会理会明显荒谬的交易。
- 有人将其类比为编辑 HTML 价格或欺骗低级员工；通常可因错误或欺诈而撤销。
- 另一些人警告，在更可信的场景中（例如现实折扣、银行或医疗等受监管领域），监管机构或法院可能会把机器人输出视为公司的陈述。
- 少数人担心，如果用户故意“攻击”这类系统，可能会面临以黑客或 CFAA 理论为依据的起诉。
客服聊天机器人：有用还是令人沮丧
- 许多人强烈不喜欢：他们认为机器人是在浪费时间、充当门卫，或是一种削减成本的“残酷玩笑”，阻碍人们接触有权处理问题的真人。
- 也有人表示，当机器人在狭窄流程中充当结构化向导时体验不错（例如退款、召回、简单故障排查）。
- 还有几条评论指出，LLM 出现之前的脚本式聊天机器人和 IVR 树本来就很糟；如果 LLM 只限于事实和文档而不赋予真正权限，它们可能会有所改善。
实现模式与缓解措施
- 建议的缓解措施：
- 将机器人限制为引用官方文档/规格，而不是编造政策或价格。
- 使用函数调用 API，并配合严格的后端校验，且不给予定价权限。
- 添加分类器或辅助模型，以检测跑题或滥用对话。
- 把 LLM 当作人工客服的工具（起草回复、搜索内部文档），而不是直接的自治代理。
关于 AI 部署的更广泛反思
- 许多人将此视为一个警示：不要把通用的 GPT 风格模型直接接入面向客户的工作流程。
- 共识趋势是：LLM 作为专家和支持人员的辅助工具很强大，但作为无人监督、具有权威性的现实行动或合同接口，则不可靠且有风险。