Nuestra posición sobre los modelos de pesos abiertos
La postura pública de Anthropic sobre los modelos de IA de “pesos abiertos” ha provocado un intenso debate sobre seguridad, competencia y geopolítica. La empresa sostiene que los modelos potentes deberían someterse a pruebas de seguridad obligatorias, que la distillation de modelos propietarios debería restringirse y que los chips avanzados deberían mantenerse fuera de China para evitar usos autoritarios, permitiendo al mismo tiempo modelos abiertos menos capaces. Los críticos ven esto como captura regulatoria e hipocresía por parte de una firma entrenada con datos obtenidos por scraping, cuestionan quién define las “capacidades peligrosas” y replican que los modelos abiertos son necesarios para la defensa, no pueden contenerse de forma significativa y que el uso estadounidense de la IA para vigilancia y guerra no es más fiable que el de China.
Motivos percibidos y captura regulatoria
- Muchos ven el texto como la clásica estrategia de “regular a mis competidores”: usar la seguridad y a China como justificación para debilitar a los competidores de pesos abiertos mientras se preserva un foso para los grandes laboratorios de EE. UU.
- Los críticos señalan la yuxtaposición: “nunca abogamos por prohibir los pesos abiertos” seguida inmediatamente por llamamientos a pruebas de seguridad obligatorias y medidas represivas que afectarían sobre todo a los modelos abiertos.
- Una minoría piensa que la postura es internamente coherente con preocupaciones de seguridad sostenidas desde hace tiempo y no es especialmente peor que otras industrias que hacen lobby a favor de regulación.
Pesos abiertos, “pruebas de seguridad” y prohibiciones de facto
- Un bando: las pruebas de seguridad obligatorias para modelos “suficientemente capaces” son simplemente una prohibición de facto de los pesos abiertos capaces, ya que cualquier capa de seguridad puede quitarse o eludirse mediante fine-tuning.
- Otros sostienen que las pruebas de seguridad son sentido común (analogías con medicamentos, coches, aviones) y que se aplicarían tanto a modelos cerrados como abiertos; el problema difícil es definir “suficientemente capaz” y “peligroso”.
Distillation y propiedad intelectual
- Hay una muy fuerte reacción en contra de “tomar medidas contra la distillation a escala industrial”: los comentaristas señalan que los laboratorios entrenaron con conjuntos de datos masivos sin consentimiento (incluidos libros pirateados) y ahora quieren proteger sus propias salidas.
- Algunos argumentan que la distillation es jurídicamente distinta de la infracción de copyright; en el peor de los casos, viola los Términos de Servicio, no la ley de propiedad intelectual bajo las reglas actuales.
China, autoritarismo e hipocresía de EE. UU.
- El enfoque del artículo en el gobierno chino como amenaza principal está muy cuestionado.
- Especialmente los comentaristas no estadounidenses argumentan que EE. UU. es al menos igual de peligroso: guerras, vigilancia, IA militar e inestabilidad política actual socavan las afirmaciones de superioridad moral.
- Otros sostienen que, desde una perspectiva de seguridad nacional de EE. UU., impedir que hegemonías rivales obtengan superioridad en IA es racional.
Riesgo cibernético/biológico y el incidente de Hugging Face
- Los riesgos cibernéticos y biológicos son la justificación central de seguridad, pero muchos ven los escenarios de catástrofe biológica como especulativos, “tramas de película”.
- El incidente reciente en el que un modelo cerrado de EE. UU. se utilizó para atacar una gran plataforma de alojamiento, y un modelo chino de pesos abiertos se utilizó en el análisis posterior, se cita repetidamente:
- Un lado: demuestra que los modelos abiertos son cruciales para la defensa cuando los modelos cerrados están cercados por barandillas o políticas de acceso.
- El otro lado: el modelo abierto llegó después del daño; los atacantes siguen obteniendo más de herramientas potentes que los defensores típicos.
Viabilidad y eficacia de los controles
- Hay un fuerte escepticismo de que las prohibiciones de pesos abiertos, fine-tuning o “distillation” sean ejecutables: los modelos son solo archivos, trivialmente copiados y sacados de contrabando; cualquier regulación puede vincular sobre todo a empresas y usuarios que cumplen la ley.
- Los controles de exportación sobre chips se consideran más prácticos de hacer cumplir, pero probablemente (a) solo compren tiempo, y (b) aceleren el desarrollo doméstico de chips en el extranjero.
Los pesos abiertos como bien público frente a amenaza
- Los defensores de los pesos abiertos subrayan:
- La simetría de ofensiva/defensa en ciberseguridad; los defensores también necesitan herramientas potentes.
- La analogía histórica con la criptografía: intentar restringir la criptografía fuerte fracasó y perjudicó más a los usuarios ordinarios que a los delincuentes.
- Los escépticos se preocupan de que, una vez que los modelos de nivel frontera sean realmente abiertos, ningún esquema realista de alineamiento o barandilla pueda impedir su uso en ataques cibernéticos o biológicos.
Sentimiento de la comunidad hacia la empresa
- El sentimiento en el hilo se inclina marcadamente hacia lo negativo: acusaciones de hipocresía, alarmismo, chovinismo centrado en EE. UU. y pensamiento de “personaje principal”.
- Un grupo más pequeño defiende el marco de seguridad, pero a menudo aun así critica el PR y el tono político, especialmente la retórica sobre China y la falta de mecanismos concretos y viables.