Los argumentos contra la IA de código abierto son malos

Artículo original ↗ Discusión en Hacker News ↗

El debate sobre los modelos de IA de “código abierto” o de pesos abiertos se centra en si publicar sistemas potentes aumenta la seguridad general o simplemente arma a actores maliciosos. Algunos sostienen que los modelos abiertos son inevitables, permiten auditoría independiente y evitan que un pequeño grupo de corporaciones o gobiernos monopolice una posible “superarma”, mientras que otros afirman que las API centralizadas permiten supervisión, revocación y barandillas imposibles una vez que los pesos se distribuyen ampliamente. Un tema recurrente es la desconfianza: los críticos de los modelos cerrados ven la oposición regulatoria como captura regulatoria corporativa, mientras que los escépticos de los modelos abiertos los comparan con publicar los diseños de una bomba nuclear y cuestionan si alguna sociedad puede gestionar los riesgos resultantes.

Ámbito del desacuerdo

  • La mayoría de los comentaristas apoya modelos ampliamente disponibles / “abiertos”, pero difiere en el grado y la forma (pesos abiertos frente a código fuente completamente abierto, límites de capacidad, etc.).
  • Una minoría sostiene que la IA potente debería estar estrictamente controlada o no crearse en absoluto, comparándola con la tecnología nuclear.

Seguridad, uso indebido y motivación humana

  • Preocupaciones: los modelos abiertos afinados podrían alimentar estafas a gran escala, fraude dirigido, ciberataques o daños masivos de bajo esfuerzo; los pesos abiertos eliminan las barandillas “por definición”.
  • Contraargumentos:
    • Ya se producen abusos similares con modelos cerrados y con mano de obra humana barata; las estafas no requieren IA de nivel “genial”.
    • La principal limitación para cometer atrocidades es que muy pocas personas quieren cometerlas; el conocimiento no es el cuello de botella.
    • Los intentos de “envolver en plástico de burbujas” el mundo suelen erosionar la confianza y las libertades civiles, y pueden salir mal.

Modelos abiertos frente a cerrados para la seguridad

  • Argumentos a favor de lo cerrado:
    • Las API centralizadas permiten supervisar, revocar el acceso y aplicar barandillas; los reguladores tienen menos entidades que vigilar.
    • Los pesos abiertos pueden copiarse, modificarse y desplegarse por cualquiera, incluidos estados hostiles y delincuentes, lo que dificulta la supervisión.
  • Argumentos a favor de lo abierto:
    • Los sistemas cerrados también pueden ser usados indebidamente a gran escala por sus dueños, con una transparencia mínima.
    • Los pesos abiertos ayudan a los defensores: por ejemplo, según se informa, fueron necesarios modelos sin filtros de seguridad para investigar un ataque avanzado impulsado por IA.
    • La historia con el cifrado: las prohibiciones y las puertas traseras fracasaron y debilitaron la seguridad.

Puertas traseras, envenenamiento y confianza

  • Varios señalan que el envenenamiento de modelos y las puertas traseras son sutiles y difíciles de detectar, incluso con pesos abiertos.
  • Otros sostienen que la inspección y el red teaming siguen siendo más fáciles con pesos abiertos que con API opacas, en analogía con el software abierto frente al propietario.
  • Algunos sugieren que hay que asumir que cualquier modelo puede estar comprometido y diseñar sistemas que no confíen plenamente en él.

“Código abierto” frente a “pesos abiertos”

  • Hay un hilo fuerte que argumenta que publicar los pesos no es verdadero código abierto:
    • Los pesos se parecen más a binarios redistribuibles; la apertura completa incluiría los datos, el código de entrenamiento y la canalización.
    • El ajuste fino es posible, pero por lo general no se puede “deshacer” un preentrenamiento sesgado o propagandístico.
  • Otros responden que, en la práctica, la parte costosa es el entrenamiento; la capacidad de ejecutar y ajustar pesos en tu propio hardware es lo que importa.

China, geopolítica y propaganda

  • A algunos les preocupa que los modelos chinos de pesos abiertos puedan incluir puertas traseras, vulnerabilidades sutiles de código o propaganda.
  • Contraargumentos:
    • Los pesos abiertos pueden probarse e incluso contrastarse con modelos no chinos.
    • Algunos ven los temores de EE. UU. como retórica al estilo de la Guerra Fría y una forma de mantener el dominio tecnológico estadounidense más que como una postura de seguridad basada en principios.

Regulación, incentivos corporativos y captura

  • Muchos ven “la IA es demasiado peligrosa; solo unos pocos laboratorios deberían encargarse de ella” como una estrategia de captura regulatoria por parte de grandes empresas.
  • Hay escepticismo tanto sobre la autorregulación corporativa como sobre la competencia de los gobiernos, pero también reconocimiento de que alguna regulación por la seguridad pública es algo estándar.
  • Algunos sostienen que una verdadera “IA de interés público” necesitaría financiación pública y gestión sin ánimo de lucro o académica, no laboratorios puramente privados.