Afirmación: repos privados de GitHub incluidos en un conjunto de datos de IA

Artículo original ↗ Discusión en Hacker News ↗

Las afirmaciones de que repositorios privados o eliminados de GitHub se han incluido en “The Stack”, un conjunto de datos de entrenamiento de IA construido a partir del archivo de código de Software Heritage, están provocando escrutinio sobre cómo se recopilaron los datos. Muchos desarrolladores que revisaron el conjunto de datos informan que solo ven repositorios que fueron públicos en algún momento, lo que sugiere ajustes de privacidad recordados incorrectamente más que una filtración confirmada de GitHub, pero el episodio pone de relieve preocupaciones más amplias sobre el consentimiento por exclusión voluntaria, el cumplimiento de derechos de autor y la legalidad de usar código sin licencia o copyleft para entrenar IA. Varios comentaristas también critican a Software Heritage y a los proyectos de IA por archivar y reutilizar código accesible públicamente sin permiso explícito claro ni formas fáciles de excluirlo.

Alcance del problema (lo que está usando The Stack)

  • The Stack v2 se construye a partir del archivo de Software Heritage, que refleja código fuente “disponible públicamente” de GitHub y muchos otros forges.
  • La propia política de Software Heritage (tal como se cita) es archivar todo lo público, sin comprobar licencias, dejando el cumplimiento de licencias a los usuarios posteriores.
  • Según los informes, The Stack excluye algunos repos con licencia GPL/AGPL, pero incluye muchos sin licencia y algunos con términos no permisivos.

Repos privados vs públicos: afirmaciones en conflicto

  • Varios comentaristas dicen que encontraron repos antiguos, ahora eliminados o privados, en The Stack y creen firmemente que siempre fueron privados.
  • Muchos más informan que solo aparecen repos que alguna vez fueron públicos; los repos que “siempre han sido privados” no aparecen.
  • En algunos casos en los que la gente pensó que un repo siempre fue privado, datos de Software Heritage o GitHub Archive mostraron que fue público en algún momento.
  • Un empleado de GitHub (publicando de forma informal) sugiere que el papel de GitHub es limitado: Software Heritage archiva repos públicos que pueden permanecer incluso después de ser eliminados en GitHub.
  • Otros señalan que antes los repos privados requerían planes de pago y que es común una breve exposición pública accidental, lo que podría explicar recuerdos que chocan con la evidencia archivada.
  • Varios comentaristas califican explícitamente la afirmación de “GitHub filtró repos privados” como no demostrada y probablemente fruto de un recuerdo erróneo; otros insisten en que ellos y sus colegas ven repos genuinamente privados, pero no aportan ejemplos verificables. Estado: incierto.

Herramientas de verificación y análisis forense

  • Comprobaciones sugeridas:
    • Búsqueda en Software Heritage para ver si un repo fue archivado alguna vez.
    • Consultas en GitHub Archive / ClickHouse para PublicEvent y detectar cuándo un repo privado se hizo público.
    • Instantáneas de Wayback Machine, cuando estén disponibles.
  • El registro de auditoría propio de GitHub solo retrocede unos ~6 meses, así que no puede resolver casos antiguos.

Debates sobre licencias y legalidad

  • Preocupación intensa de que Software Heritage y The Stack ingieran código independientemente de la licencia, incluido código propietario y sin licencia que sigue estando completamente protegido por copyright.
  • Debate sobre si hacer público un repo crea una “licencia implícita” para rastrear, archivar y buscar; algunos citan jurisprudencia de EE. UU. y uso legítimo, otros sostienen que eso no se sostendría, especialmente bajo la ley francesa (para Software Heritage).
  • Se plantean dudas sobre si redistribuir un conjunto de datos de entrenamiento sin conservar avisos de licencia viola requisitos de copyleft o de atribución.
  • Algunos argumentan que cualquier “lectura y aprendizaje” permitidos para humanos también debería estar permitido para la IA; otros responden que eso elude términos de licencia que restringen explícitamente usos como el entrenamiento, el uso militar, etc.

Consentimiento, ética y modelo de exclusión voluntaria

  • Fuerte crítica al consentimiento por exclusión voluntaria: “el consentimiento no es optar por salir”, especialmente para la IA comercial.
  • La interfaz de exclusión se describe como condescendiente y lenta; al menos un problema temprano de exclusión, según los informes, seguía sin resolverse.
  • Varias personas dicen que hacer un repo no público o eliminarlo debería tratarse como una fuerte señal de “no usar” para futuras versiones del conjunto de datos, incluso si técnicamente fue público en el pasado.

Prácticas de Software Heritage y resistencia

  • Una persona cuenta haber recibido un correo indicando que su forge autohospedado sería archivado periódicamente; se opusieron por motivos de copyright y lograron cancelar la solicitud, pero les dijeron que otros aún podrían “Save code now.”
  • Otros informan haber exigido con éxito la retirada de cientos de repos y/o haber bloqueado las IP o user agents de Software Heritage.
  • Algunos piden que los forges o hosts bloqueen por defecto a los rastreadores de Software Heritage.

Actitudes hacia GitHub, la IA y el riesgo

  • Muchos lo ven como parte de un patrón más amplio: plataformas de alojamiento públicas y proyectos de IA extrayendo valor del código de los usuarios sin consentimiento ni compensación significativos.
  • Otros califican todo el asunto de “nothingburger”, argumentando que solo se incluye código que alguna vez fue público y que no hay pruebas creíbles de filtraciones de repos privados, aunque reconocen que la imagen pública y los problemas de licencias siguen siendo serios.
  • Las sugerencias van desde cifrar los repos privados, abandonar GitHub o crear servicios git cifrados de extremo a extremo, hasta “envenenar” repos públicos como protesta (sin detalles técnicos).