网站正在对 AI 代理关上大门
网站正越来越多地阻止 AI 代理和爬虫，因为依赖广告、加购销售或严格控制用户流程的企业认为自动化访问会直接威胁其收入和基础设施。评论者争论，在 AI 代理未来可能成为人们购物和浏览的主要方式时，这种做法是否短视；他们警告说，对代理不可见的网站可能会彻底失去客户。提出的前进路径包括付费或授权的机器可读接口、微支付（例如 HTTP 402 风格模型），以及一波直接面向代理而非人类用户的新型“AI 搜索优化”。
经济与激励
- 许多人认为阻止代理是理性的：代理会跳过广告和加购销售，直接冲击依赖广告和漏斗的商业模式。
- 也有人认为网站算错了：如果代理成为人们与网络交互的主要方式，那么阻止它们的网站可能会从用户的选择中“消失”。
- 公司也担心更容易的跨站比价和价格比较会削弱“便利护城河”和暗黑模式 UX 优化。
代理会主导用户交互吗？
- 一方预测，大多数计算机交互都会通过代理完成；企业主要会向代理营销，而不是向人类营销。
- 怀疑者则认为代理仍会是小众工具：大多数人不信任它们，负担不起强大的代理，不愿持续付费，也没有太多适合它们的任务。
- 反方观点是：如果代理只停留在小众层面，阻止它们就没有必要；如果它们变得居于中心地位，阻止它们则是自我挫败。
电子商务、Amazon 与竞争
- 代理可以通过系统性比较各网站的价格、运费和退货政策来拉平竞争环境，削弱依赖用户懒惰或锁定效应的策略。
- 有人把这视为对 Amazon 的威胁；也有人说 Amazon 的物流、库存系统和快速退货仍然是代理无法复制的决定性护城河。
- 担忧在于：代理可能很容易被对抗性营销、虚假评论和 prompt injection 欺骗，从算法上很难识别“更好的产品”。
技术封锁与小网站影响
- 通过 Cloudflare、DataDome、WAF 和自定义规则进行机器人缓解非常普遍；一些用户报告误伤，连人类访问也被拦截。
- 小网站遭受大量抓取（巨量日志、服务器过载），通常会默认采用商业防护服务。
- 讨论中也出现了自制和开源 WAF、proof-of-work 方案、行为门控，以及用“像人类一样”的代理行为来规避检测。
替代模式与网络碎片化
- 提出的折中方案包括：
- 为代理提供授权的、付费的 JSON/XML/API 数据流；HTML 留给人类，并可能对机器人不友好。
- 微支付方案（
402 Payment Required、Lightning/L402、Cloudflare 付费模型），按代理请求向网站补偿。 - “AI 搜索优化”（ASO）以及直接向 LLM 做营销。
- 几位评论者认为，这种局面是另一种“公地悲剧”：开放访问被滥用（广告、抓取、类似 DDoS 的流量），进而促使锁定、围墙花园以及越来越对抗性的人机—网络交互。