有人正在进行大规模漏洞扫描，伪装成 ClaudeBot 等 AI 机器人

原文 ↗ Hacker News 讨论 ↗

针对 Web 服务器的大规模自动化漏洞扫描，越来越多地伪装成 Claude 或 Googlebot 这类合法的 AI 爬虫；一些操作者显然利用云服务商和证书透明度日志来快速发现并探测新站点。评论者指出，粗暴封禁 VPS IP 段、ASN 或整个国家可以截断大量恶意流量，但也会把真实用户挡在门外，促使站点转向更细致的防御方式，例如蜜罐、行为信号以及 Google 的 Web Bot Auth 之类的机器人认证方案。讨论强调，后台扫描是互联网永久存在的“水是湿的”式现实，但这些活动的规模、复杂度以及面向 AI 的目标路径，显然都在加速上升。

扫描的性质

  • 许多人观察到，最近伪装 AI 机器人 user-agent（Claude、Googlebot 等）的 HTTP(S) 请求出现了统计上显著的激增，而且常常无法通过 IP 验证或新的 “Web Bot Auth” 方案。
  • 请求路径往往针对 AI 编码工具和常见 Web 漏洞（例如 WordPress、.env、通用 PHP 端点）。
  • 有人认为这不过是老一套的大规模漏洞扫描换了新伪装；也有人认为这是一个明显不同的新行动模式。

流量来源与模式

  • 报告中的来源包括 Google Cloud（特定 ASN）、Microsoft 和 Google 的 IP、中国和俄罗斯网络，以及各种 VPN、VPS 和被入侵的住宅/IoT 设备。
  • 流量常常在成千上万的 IP 之间同步增减，暗示存在集中控制。
  • 有人提到，证书透明度日志和新 TLS 证书的签发会被机器人用来快速发现新域名。

机器人识别与验证

  • 共识是 user-agent 字符串不可靠；验证应使用：
    • 供应商公布的 IP 范围或反向 DNS。
    • 在支持的情况下使用新的 Web Bot Auth 机制。
  • 有人认为伪造的 Googlebot/AI 爬虫是日志中的头号类别。

缓解策略

  • 基于 IP/ASN：
    • 屏蔽 VPS/数据中心 ASN；使用免费或付费的 IP 情报服务（从便宜到非常昂贵的企业级方案）。
    • 有些人封禁整个 ASN，例如大型海外服务商；也有人提醒这会带来误伤。
    • 在路由器/防火墙上按国家级别封禁很常见，有时会与 ASN 黑名单结合使用。
  • 基于行为：
    • 蜜罐用于收集扫描流量，并发布黑名单和 AS/ISP 排行榜。
    • 基于指标的动态系统会把“高风险”网络放到 CAPTCHA/Turnstile 之后，例如某个 /24 内出现大量 PHP 探测或大量空账号。
    • 限速、fail2ban 和 WAF；批评者说 fail2ban 会被数百万个 IP 压垮，而且大多只是清理日志。
  • 基于架构：
    • 从 WordPress/CMS 迁移到静态托管（S3/Cloudflare Pages），以缩小攻击面。
    • 仅使用 HTTP/2 或通过 header 指纹识别来过滤部分机器人。
    • 依赖 CGNAT 或类似 WireGuard 的 VPN 来减少暴露。

权衡与连带影响

  • 屏蔽 VPS/数据中心/VPN 终究会把一些真实用户挡在外面；轶事表明绝对数量不大，但确实非零。
  • 住宅代理和 CGNAT 意味着，封掉一个 IP，甚至一个城镇规模的 NAT，都可能影响许多无辜者。
  • 有些人更喜欢被动加固，并只对最恶劣的攻击者作出反应，而不是激进地对抗机器人，以免误伤合法爬虫或用户。

合法性、规范与意义

  • 大规模未经授权的扫描通常被视为非法或“法律上可疑”，但执法被认为非常有限。
  • 对新颖性的看法不一：有人把这称作自早期蠕虫以来一直如此的日常业务；也有人指出，流量规模上升以及面向 AI 的路径说明事态在升级。
  • 还有几个人认为，这是一场更广泛转变的一部分：互联网正走向更需要认证、较少开放的访问方式（例如类似 KYC 的模式、机器人认证标准）。