The Pile es un conjunto de datos de modelado de lenguaje diverso y de código abierto de 825 GiB (2020)

Estado del conjunto de datos y corpus relacionados

• The Pile se describe como «antiguo» y, al parecer, ya no se puede descargar directamente desde el enlace oficial; la gente señala torrents/enlaces magnet e intercambios de discos duros como la principal forma de distribución.
• Varios comentaristas destacan conjuntos de datos más nuevos o alternativos:
  • The Stack v2 (centrado en código) con 67 TB en bruto, limpiado hasta ~3 TB (900B tokens).
  • Dolma y otras mezclas de fuentes curadas + Common Crawl filtrado.
• Se menciona un «Pile v2» en progreso que usa solo datos con licencias permisivas, visto por algunos como un retroceso en capacidad pero una necesidad legal.

Composición del contenido y escala

• The Pile mezcla muchas fuentes curadas; los componentes controvertidos clave incluyen:
  • “Books3”: un volcado de un rastreador privado de libros electrónicos con grandes cantidades de libros con copyright.
  • “OpenWebText2”: páginas web enlazadas desde publicaciones de Reddit con muchos votos positivos.
  • Subtítulos de “opensubtitles”, que probablemente incluyen guiones completos protegidos por copyright.
• Algunos consideran que 825 GB es sorprendentemente pequeño; otros señalan que parece grande una vez que intentas descargarlo o alojarlo.

Copyright, uso legítimo y legalidad

• Hay un fuerte desacuerdo sobre la legalidad:
  • Un lado sostiene que entrenar con datos con copyright es o debería ser uso legítimo, y que los modelos son transformativos, pequeños en comparación con los datos de entrenamiento y rara vez regurgitan pasajes largos.
  • El otro lado sostiene:
    • Reunir y redistribuir corpus en bruto de libros pirateados, subtítulos, etc. es una infracción directa de copyright.
    • El uso legítimo no puede autodeclararse; los tribunales aplican una prueba de cuatro factores (propósito, naturaleza, cantidad, daño al mercado).
    • Es probable que estos conjuntos de datos fallen en «cantidad» (obras completas) y «efecto en el mercado» (modelos compitiendo con autores y artistas).
• Se hace una distinción entre:
  • Usar obras de forma privada para entrenar un modelo vs.
  • Distribuir públicamente esas obras en bloque en conjuntos de datos.
• Algunos ven esto como análogo a los sitios de torrents; otros lo comparan con Google Books y victorias previas por uso legítimo.

Ética, trabajo e impacto en los creadores

• Muchas publicaciones presentan a los creadores de conjuntos de datos y a las empresas de IA como quienes «blanquean» violaciones masivas de copyright y explotan trabajo creativo no remunerado.
• Otros argumentan que la información debería compartirse ampliamente, que la propiedad intelectual se ha extendido en exceso y que la sociedad debería aceptar los beneficios aunque sufran los modelos de negocio tradicionales.
• Entre las preocupaciones están el desplazamiento económico de escritores/artistas, la imitación de estilos y el posible uso indebido de los datos de entrenamiento (por ejemplo, CSAM en grandes conjuntos de datos de imágenes).