我在 HN 发帖后，我的网站被 AI 机器人流量淹没了
在 Hacker News 上发帖如今常常会引发自动化流量激增，从激进的 AI 驱动抓取器到通用漏洞扫描器都有，足以压垮小型网站、污染分析数据，甚至产生高额云账单。评论者们交流了各种应对手段——封锁云厂商 ASN、使用 Cloudflare Turnstile 之类的 CAPTCHA、tarpits、工作量证明、basic auth、地理白名单和静态托管——同时也指出，复杂的家用代理机器人网络和无头浏览器让永久性的技术解决方案变得难以实现。许多人认为，这一趋势会推动更多内容转向登录后可见或围墙花园，并引发对开放网络未来及其可用性的担忧。
HN 曝光与机器人蜂群
- 多位评论者表示，仅仅在 HN 上发帖（即使没有上首页）也会引发自动化流量的大幅激增。
- 这些流量往往远超真实用户访问量，而且在一次发帖后还能持续数月。
- 有人指出，请求量从现代服务器的技术能力来看是能承受的，但当它击中动态路径或缓存不佳的路径时，仍会造成变慢、宕机，或产生高额账单。
当前机器人生态的性质
- 混合包括：
- 传统的“互联网背景辐射”：漏洞扫描、WordPress/PHP 探测、wp-content/phpinfo.php 等。
- 来自 AWS、GCP、Azure、Alibaba、Oracle、Meta、Apple 等云端托管的爬虫。
- 与 AI/LLM 相关的爬虫，以及“AI newsletter”/变更监控服务，它们轮询频率高得离谱。
- 家用代理机器人网络和消费级 VPN，使基于 IP 的封锁和 fail2ban 的效果大打折扣。
- 一些机器人会忽略 robots.txt 或 nofollow，而且会多年反复请求早已失效的 URL。
缓解策略与权衡
- 强力封锁：按 ASN（云服务）、GeoIP 白名单、AbuseIPDB 黑名单、黑洞/“陷阱”URL，或在网络边缘做黑洞路由。
- 挑战与 CAPTCHA：Cloudflare Turnstile、Anubis 风格的 JS 工作量、工作量证明、自定义 L7 代理，以及故意拖慢响应的 tarpits。
- 更简单的防御：除首页外全部加 basic auth、智力测试题、速率限制、fail2ban/ipsets。
- 许多人表示，先进机器人现在会使用真实浏览器/无头 Chrome，并能绕过 CAPTCHA 和 Turnstile。
- 还有几位得出结论：军备竞赛无法取胜，因此转而专注于性能优化、静态内容、CDN，以及把动态功能限制给已认证用户。
对托管、成本和分析的影响
- 有人报告称，激进抓取导致云账单达到数千美元，并带来很高的出站流量成本。
- 一些自托管者会封锁大型云平台，尽管这样会误伤那些通过公司 VPN 访问的真实用户。
- 分析和日志被形容为“没用”或污染严重；有人用 LLM 来寻找模式并对恶意流量分类。
关于 LLM/搜索机器人与未来网页的争论
- 有些人认为 LLM 引荐流量有价值，声称 ChatGPT 正成为主要流量来源之一，而且带来的用户参与度很高。
- 另一些人则认为，这些系统的目标是把用户留在站外，对内容所有者几乎没有价值。
- 几位评论者预测，随着开放、匿名的网络在机器人压力下恶化，内容会越来越多地转移到围墙花园、严格身份要求，或类似 web-of-trust 的网络中。