作为角色混淆的提示注入

角色混淆与提示注入的本质

• 许多评论者同意，这篇论文形式化了从业者早已知道的事情：LLM 并没有真正的“角色”；一切都只是单一流中的 token。
• 模型通过风格和位置来推断“谁在说话”，而不是通过安全标签。这使得“像系统一样说话”成为一种强力的越狱手段。
• 一些人将其与社会工程学相比较：如果你用权威的语气说话，模型就会把你当作权威。

更稳健的角色信号想法

• 多人建议对 token 进行“着色”：为每个 token 添加额外的嵌入维度或修饰向量，用来编码角色（system/user/tool/CoT），类似于位置嵌入。
• 变体包括：
  • 为内部思维链复制 token。
  • 指令段嵌入和逐 token 源 ID。
  • 使用显式的带外元数据，而不是带内标签。
• 也有人指出挑战：需要标注训练数据、主题/来源纠缠，以及可能降低模型性能的风险。

安全性、沙箱化，以及将 LLM 作为安全组件的限制

• 普遍共识是：当前 LLM 并不提供真正的安全边界；API 中的角色只是格式化，而不是授权。
• 有人认为，任何允许 LLM 执行不可逆操作的系统本质上都不安全；也有人说，受限且沙箱化的用途（例如分类、垃圾邮件检测）是可接受的。
• 讨论还涉及会话隔离：模型原则上是无状态的，但上下文/KV 缓存处理和 Web 会话 bug 仍可能泄露数据。
• 持久化的智能体记忆被特别指出为高风险：被注入的指令可以被“漂白”成看似“自写”的笔记，并在之后变得高度可信。

为什么经典的净化和标签不够用

• 评论者问，为什么不直接移除或强化标签。回应是：
  • 现代 API 往往已经使用不可伪造的特殊 token 作为角色边界。
  • 核心问题在于模型会根据风格推断角色；即使没有标签，看起来像思维链或系统策略的用户文本也可能覆盖指令。
• 静态的提示注入基准测试受到批评；能够自适应攻击的人类红队测试要有效得多。

更广泛的反思与怀疑

• 有人认为“理论”这个标签被夸大了；也有人说它通过提出可测试的预测并指明研究方向，配得上这个词。
• 一个反复出现的担忧是：通过训练让模型“安全”往往会显著降低可用性，但仍然无法完全阻止越狱。