Afirmación: repos privados de GitHub incluidos en un conjunto de datos de IA

Artículo original ↗ Discusión en Hacker News ↗

Alcance del problema (lo que está usando The Stack)

  • The Stack v2 se construye a partir del archivo de Software Heritage, que refleja código fuente “disponible públicamente” de GitHub y muchos otros forges.
  • La propia política de Software Heritage (tal como se cita) es archivar todo lo público, sin comprobar licencias, dejando el cumplimiento de licencias a los usuarios posteriores.
  • Según los informes, The Stack excluye algunos repos con licencia GPL/AGPL, pero incluye muchos sin licencia y algunos con términos no permisivos.

Repos privados vs públicos: afirmaciones en conflicto

  • Varios comentaristas dicen que encontraron repos antiguos, ahora eliminados o privados, en The Stack y creen firmemente que siempre fueron privados.
  • Muchos más informan que solo aparecen repos que alguna vez fueron públicos; los repos que “siempre han sido privados” no aparecen.
  • En algunos casos en los que la gente pensó que un repo siempre fue privado, datos de Software Heritage o GitHub Archive mostraron que fue público en algún momento.
  • Un empleado de GitHub (publicando de forma informal) sugiere que el papel de GitHub es limitado: Software Heritage archiva repos públicos que pueden permanecer incluso después de ser eliminados en GitHub.
  • Otros señalan que antes los repos privados requerían planes de pago y que es común una breve exposición pública accidental, lo que podría explicar recuerdos que chocan con la evidencia archivada.
  • Varios comentaristas califican explícitamente la afirmación de “GitHub filtró repos privados” como no demostrada y probablemente fruto de un recuerdo erróneo; otros insisten en que ellos y sus colegas ven repos genuinamente privados, pero no aportan ejemplos verificables. Estado: incierto.

Herramientas de verificación y análisis forense

  • Comprobaciones sugeridas:
    • Búsqueda en Software Heritage para ver si un repo fue archivado alguna vez.
    • Consultas en GitHub Archive / ClickHouse para PublicEvent y detectar cuándo un repo privado se hizo público.
    • Instantáneas de Wayback Machine, cuando estén disponibles.
  • El registro de auditoría propio de GitHub solo retrocede unos ~6 meses, así que no puede resolver casos antiguos.

Debates sobre licencias y legalidad

  • Preocupación intensa de que Software Heritage y The Stack ingieran código independientemente de la licencia, incluido código propietario y sin licencia que sigue estando completamente protegido por copyright.
  • Debate sobre si hacer público un repo crea una “licencia implícita” para rastrear, archivar y buscar; algunos citan jurisprudencia de EE. UU. y uso legítimo, otros sostienen que eso no se sostendría, especialmente bajo la ley francesa (para Software Heritage).
  • Se plantean dudas sobre si redistribuir un conjunto de datos de entrenamiento sin conservar avisos de licencia viola requisitos de copyleft o de atribución.
  • Algunos argumentan que cualquier “lectura y aprendizaje” permitidos para humanos también debería estar permitido para la IA; otros responden que eso elude términos de licencia que restringen explícitamente usos como el entrenamiento, el uso militar, etc.

Consentimiento, ética y modelo de exclusión voluntaria

  • Fuerte crítica al consentimiento por exclusión voluntaria: “el consentimiento no es optar por salir”, especialmente para la IA comercial.
  • La interfaz de exclusión se describe como condescendiente y lenta; al menos un problema temprano de exclusión, según los informes, seguía sin resolverse.
  • Varias personas dicen que hacer un repo no público o eliminarlo debería tratarse como una fuerte señal de “no usar” para futuras versiones del conjunto de datos, incluso si técnicamente fue público en el pasado.

Prácticas de Software Heritage y resistencia

  • Una persona cuenta haber recibido un correo indicando que su forge autohospedado sería archivado periódicamente; se opusieron por motivos de copyright y lograron cancelar la solicitud, pero les dijeron que otros aún podrían “Save code now.”
  • Otros informan haber exigido con éxito la retirada de cientos de repos y/o haber bloqueado las IP o user agents de Software Heritage.
  • Algunos piden que los forges o hosts bloqueen por defecto a los rastreadores de Software Heritage.

Actitudes hacia GitHub, la IA y el riesgo

  • Muchos lo ven como parte de un patrón más amplio: plataformas de alojamiento públicas y proyectos de IA extrayendo valor del código de los usuarios sin consentimiento ni compensación significativos.
  • Otros califican todo el asunto de “nothingburger”, argumentando que solo se incluye código que alguna vez fue público y que no hay pruebas creíbles de filtraciones de repos privados, aunque reconocen que la imagen pública y los problemas de licencias siguen siendo serios.
  • Las sugerencias van desde cifrar los repos privados, abandonar GitHub o crear servicios git cifrados de extremo a extremo, hasta “envenenar” repos públicos como protesta (sin detalles técnicos).