关于住宅代理和爬虫情况的更新

原文 ↗ Hacker News 讨论 ↗

住宅代理与合法性

  • 许多人将住宅代理视为“明目张胆的僵尸网络”：免费应用中的 SDK、VPN 和媒体盒子悄悄把用户设备变成出口节点。
  • 关于合法性存在争议：一些人认为，如果没有明确禁止此类 SDK，就不算明确违法；另一些人则说，这里并没有知情同意，应该按类似恶意软件来对待。
  • 也有人争论，应用商店对这类 SDK（例如 NetNut 的）实施封禁，是正当的安全措施，还是垄断滥用。

爬取强度与影响

  • 核心抱怨是：大规模、行为粗暴的爬取淹没了网站，尤其是动态端点（搜索、差异、分页列表），实际上等同于 DDoS。
  • 住宅代理加上快速 IP 轮换，使基于 IP 的封锁失效，并有误伤无辜用户的风险。
  • 有人认为这主要由 AI 训练需求驱动；也有人认为这更像是泛化流量，甚至是恶意流量，而不是理性的采集。

共享爬取与数据访问

  • 有人提出“更好的 Common Crawl”，或者按网站提供可下载的归档/ZIP，这样爬虫就不必猛烈冲击网站。
  • 反方观点是：那些已经发布完整免费转储的数据项目（Wikipedia、OpenStreetMap 等）仍然被大量爬取；许多机器人会忽略这些渠道。
  • Common Crawl 贡献者指出，数据集虽然很大，但可访问性很好，有索引和重新爬取逻辑；使用是有意义的，但并不普遍。

投毒与数据质量

  • 一个社区正在积极尝试“投毒”爬虫/LLM 训练数据。
  • 批评者说这大多只是象征性的：网络本来就很嘈杂，简单的过滤和交叉核对就能在很大程度上抵消这类努力。

缓解措施：PoW、验证码和付费墙

  • 证明工作量（Proof-of-work）系统（例如 Anubis）被一些人视为最不坏的防御，比验证码更可取，并且兼容无状态 HTTP。
  • 另一些人报告说它存在可用性问题和隐私顾虑，并认为 PoW 无法 масштабировать：攻击者可以运行优化过的原生代码或利用僵尸网络；浏览器处于劣势。
  • 讨论中出现的想法包括：按请求付费的 HTTP 402（可能通过 Lightning 实现）、基于信誉/身份的速率分层，或者整站微支付。质疑主要集中在摩擦、经济性和监管上。

开放网络的张力

  • 人们担心反爬措施会伤害开放网络，阻止良性爬虫/归档器，并巩固主导玩家（Google、Cloudflare）的地位。
  • 有人称赞住宅代理是获取企业围墙后面数据的工具；另一些人则称它们是不可信的祸害，正在破坏小型网站。

运营战术与本地防御

  • 运营者讨论防火墙、黑名单共享、类似 fail2ban 的设置，以及在家用路由器上监控流量以发现被入侵的 IoT 设备。
  • 在 IPv6 中，通过封锁更大的前缀，IP 段封锁效果更好；但广泛存在的 CGNAT 和代理频繁更换，使归因和公平性变得复杂。