The Pile 是一个 825 GiB 的多样化开源语言建模数据集（2020）

数据集状态与相关语料

• The Pile 被描述为“老旧”，而且似乎不再能直接从官方链接下载；人们提到 torrent/magnet 链接和硬盘互换是主要分发方式。
• 几位评论者强调了更新或替代的数据集：
  • The Stack v2（以代码为主），原始规模约 67 TB，清洗后降至约 3 TB（约 900B tokens）。
  • Dolma，以及其他由精选来源 + 过滤后的 Common Crawl 组成的混合数据集。
• 还有人提到一个进行中的 “Pile v2”，只使用许可更宽松的数据；有些人认为这会降低能力，但在法律上是必要的。

内容组成与规模

• The Pile 混合了许多精选来源；关键且有争议的组成部分包括：
  • “Books3”：一个来自私有电子书 tracker 的转储，包含大量受版权保护的书籍。
  • “OpenWebText2”：来自 Reddit 高赞帖子链接的网页。
  • 来自 “opensubtitles” 的字幕，很可能包含完整的受版权保护脚本。
• 有人认为 825 GB 出奇地小；也有人指出，一旦你尝试下载或托管它，这个体量就会显得很大。

版权、合理使用与合法性

• 对合法性的分歧很大：
  • 一方认为，对受版权保护数据进行训练属于或应当属于合理使用（fair use），模型具有变换性，且与训练数据相比很小，通常也不会长段照搬原文。
  • 另一方则认为：
    • 汇集并重新分发被盗书籍、字幕等原始语料，明显构成版权侵权。
    • 合理使用不能由自己单方面宣布；法院会应用四要素测试（目的、性质、数量、市场损害）。
    • 这些数据集在“数量”（整部作品）和“市场影响”（模型与作者和艺术家竞争）方面很可能都不合格。
• 这里区分了：
  • 私下使用作品来训练模型 vs.
  • 公开批量分发这些作品的数据集。
• 有些人把这类行为类比为 torrent 网站；另一些人则将其与 Google Books 和以往合理使用胜诉案例相比较。

伦理、劳动与对创作者的影响

• 许多帖子将数据集创建者和 AI 公司描述为在“洗白”大规模版权侵权，并剥削无偿的创作劳动。
• 另一些人则认为信息应当广泛共享，知识产权被过度扩张，即使传统商业模式受损，社会也应拥抱其带来的收益。
• 相关担忧包括：作家/艺术家的经济性替代、风格模仿，以及训练数据可能被滥用（例如大型图像数据集中的 CSAM）。