The Pile é um conjunto de dados de modelagem de linguagem diverso e de código aberto, com 825 GiB (2020)

Status do conjunto de dados & corpora relacionados

• O The Pile é descrito como “antigo” e aparentemente não está mais disponível para download diretamente pelo link oficial; as pessoas apontam torrents/links magnet e trocas de discos rígidos como a principal forma de distribuição.
• Vários comentaristas destacam conjuntos de dados mais novos ou alternativos:
  • The Stack v2 (focado em código) com 67 TB brutos, reduzido para ~3 TB (900B tokens).
  • Dolma e outras misturas de fontes curadas + Common Crawl filtrado.
• Há menção a um “Pile v2” em andamento usando apenas dados sob licença permissiva, visto por alguns como uma redução de capacidade, mas uma necessidade legal.

Composição do conteúdo & escala

• O The Pile mistura muitas fontes curadas; componentes polêmicos importantes incluem:
  • “Books3”: um dump de um rastreador privado de ebooks com grandes quantidades de livros protegidos por direitos autorais.
  • “OpenWebText2”: páginas da web vinculadas a partir de posts do Reddit com mais votos positivos.
  • Legendas do “opensubtitles”, que provavelmente incluem roteiros completos protegidos por direitos autorais.
• Alguns veem 825 GB como surpreendentemente pequeno; outros observam que parece grande quando você tenta baixar ou hospedar isso.

Direitos autorais, fair use & legalidade

• Há forte discordância sobre a legalidade:
  • Um lado argumenta que treinar com dados protegidos por direitos autorais é ou deveria ser fair use, e que os modelos são transformativos, pequenos em comparação com os dados de treinamento e raramente regurgitam passagens longas.
  • O outro lado argumenta:
    • Compilar e redistribuir corpora brutos de livros pirateados, legendas etc. é uma violação direta de direitos autorais.
    • Fair use não pode ser declarado unilateralmente; os tribunais aplicam um teste de quatro fatores (finalidade, natureza, quantidade, dano ao mercado).
    • Esses conjuntos de dados provavelmente falham em “quantidade” (obras inteiras) e “efeito sobre o mercado” (modelos competindo com autores e artistas).
• É feita uma distinção entre:
  • Usar obras privadamente para treinar um modelo vs.
  • Distribuir publicamente essas obras em massa em conjuntos de dados.
• Alguns veem isso como análogo a sites de torrent; outros comparam ao Google Books e a vitórias anteriores de fair use.

Ética, trabalho e impacto sobre criadores

• Muitos posts enquadram os criadores de conjuntos de dados e as empresas de IA como “lavando” violações massivas de direitos autorais e explorando trabalho criativo não remunerado.
• Outros argumentam que a informação deve ser compartilhada amplamente, que a propriedade intelectual é excessivamente ampliada e que a sociedade deve abraçar os benefícios mesmo que os modelos de negócios tradicionais sofram.
• As preocupações incluem deslocamento econômico de escritores/artistas, imitação de estilo e possível uso indevido de dados de treinamento (por exemplo, CSAM em grandes conjuntos de dados de imagens).