Roblox 在未征得我们同意的情况下下载了 145GB 的模型(包括成人内容)
据报道,Roblox 通过一个基于 AWS 的爬虫,从 open3dlab 网站批量下载了 145 GB 的用户上传 3D 模型——其中包括成人内容和非商业许可资产——并且无视 robots.txt 和网站服务条款。评论者围绕大规模抓取公开可访问内容在道德上是否可接受、是否应被视为版权侵权展开争论,尤其是在这些内容被用于训练商业 AI 或内容审核模型时。讨论还扩展到小创作者与大平台之间的权力失衡、针对爬虫的技术防御手段的实际局限,以及网络上早期“礼貌规范”的逐渐瓦解。
关于 Roblox 抓取行为的总体反应
- 许多人认为,在未征得同意的情况下大规模抓取社区资产是不尊重的,尤其是在忽视 robots.txt、网站 ToS 和非商业许可的情况下。
- 另一些人则认为,凡是网上公开可下载的内容都会被抓取,网站运营者应该接受这一现实并据此进行工程设计。
- 也有人说,真正的“新闻”不在于传输了多少字节,而在于一个大型商业平台在违反既定条款的情况下,悄悄收割粉丝内容。
许可、版权与“盗窃”
- 一种观点:为商业 AI 训练下载非商业 / 禁止演绎内容,显然违反许可,实际上属于“工业规模盗窃”,即便法律还跟不上。
- 另一种观点:仅仅从公开网站下载通常是合法的;版权通常只在你重新分发或商业利用结果时才会介入,而法院可能会认定训练属于“合理使用”。
- 还有人指出,大公司确实也会在法庭上执行 ToS,而小网站往往做不到。关于条款或 robots.txt 究竟是否具有法律效力,还是仅仅是行为规范,大家意见不一。
成人内容与 Roblox 的儿童受众
- 文章对成人模型的强调引发了争论。
- 一些人认为这是一种情绪化 framing;同一数据集也完全可能被用于训练 NSFW 检测器,而不是生成色情内容。
- 另一些人则说,考虑到 Roblox 以儿童用户为主,以及此前的争议,即便只是附带抓取成人内容,看起来也很草率,并且削弱信任。
关于 Open3DLab 的双标指控
- 多位评论者指出,Open3DLab 托管了大量从游戏中拆出的资源,甚至推广用于提取这些资源的工具。
- 该网站自己也承认处于版权“灰色地带”,并会配合下架通知。
- 批评者认为,一边抱怨公司抓取,一边分发侵权模型,这是双标;支持者则认为,人与人之间的小规模粉丝分享,与公司级、工业化的摄取在道德上并不等同。
针对抓取的防御措施
- 有人建议封锁或故意拖延云服务商 IP 段,但其他人指出,这会破坏办公室 VPN、合法爬虫,而且也挡不住住宅代理。
- robots.txt 被描述为“礼貌”,而不是保护;真正的控制措施会是速率限制、CAPTCHA/闸机、付费墙、登录,或选择性索引。
- 也有人认为,小网站负担不起高级反机器人防护,而持续的机器人负载已经把网络变成了公地悲剧。