Que se jodan tus salvaguardas de IA

Las barreras de seguridad de la IA en modelos cerrados populares se perciben cada vez más como un obstáculo para el trabajo legítimo, desde proteger infraestructura y hacer pentesting de los propios sistemas hasta ingeniería inversa de software y aprender química. Los comentaristas sostienen que estas salvaguardas son ineficaces contra atacantes serios, consolidan el poder corporativo, permiten una censura de facto y empujan a los desarrolladores hacia modelos de pesos abiertos o extranjeros que controlan ellos mismos. Una minoría defiende las restricciones como necesarias para prevenir abusos, pero incluso así reconoce que unas políticas mal enfocadas pueden erosionar la confianza y agravar los riesgos de seguridad.

Estado de ánimo general

  • Fuerte frustración porque las “salvaguardas de IA” son toscas, paternalistas y a menudo bloquean trabajo benigno o defensivo.
  • Muchos ven las implementaciones actuales como teatro de seguridad que perjudica más a los defensores que a los atacantes.

Impacto en la seguridad, la fiabilidad y el desarrollo

  • Varios informes de Claude y otros modelos cerrados negándose a:
    • Auditar código, escribir fuzzers o investigar CVE conocidas.
    • Ayudar con pentesting de la propia infraestructura o apps.
    • Analizar binarios, anti-cheats o dispositivos/TVs de los que uno es propietario.
  • Los usuarios dicen que esto rompe flujos de trabajo a mitad de proyecto, incluso para bugs que el propio modelo ayudó a introducir.
  • Algunos señalan que las salvaguardas empeoraron en los últimos meses y que ahora los modelos rechazan tareas que antes permitían.

Hipocresía percibida e incentivos comerciales

  • Afirmación frecuente: los grandes laboratorios usan herramientas internas potentes y sin sandboxing (incluidos incidentes como el hackeo de Hugging Face), y luego restringen a los usuarios “por seguridad”.
  • Las salvaguardas se perciben como:
    • Un foso y un “racket de protección” para vender planes de acceso especiales.
    • Una forma de elegir ganadores y perdedores entre industrias y centralizar el poder.
    • Justificadas con retórica de “seguridad de IA” mientras persiguen beneficio y captura regulatoria.

Cambio hacia modelos de pesos abiertos y alternativas

  • Muchos comentaristas están migrando a:
    • Modelos abiertos/autohospedados (p. ej., Qwen, Hermes).
    • Modelos chinos de pesos abiertos (p. ej., GLM, Kimi, DeepSeek), pese a preocupaciones sobre censura o propaganda.
  • Técnicas mencionadas: reformular prompts, usar modelos sin censura para generar planes y modelos restringidos para ejecutarlos, o usar interfaces de CLI/“code” que parecen menos vigiladas.

Debate sobre salvaguardas y proliferación

  • Los críticos argumentan:
    • Las restricciones principalmente ralentizan a los “buenos”; los criminales serios usarán modelos sin censura de todos modos.
    • Los modelos cerrados ya generan código inseguro mientras se niegan a ayudar a asegurarla.
    • El control centralizado del conocimiento y las herramientas es social y políticamente peligroso.
  • Los defensores argumentan:
    • Los modelos potentes son análogos a capacidades “nucleares”; algunas barreras son inevitables.
    • En general, la sociedad espera negativas ante usos extremos indebidos (terrorismo, abuso).
    • Distinguir entre intención benigna y maliciosa es intrínsecamente difícil; el exceso de bloqueos actual se ve como un intermedio desafortunado pero necesario.

Puntos de dolor específicos

  • Quejas sobre rebajas silenciosas del modelo (p. ej., cambio automático a modelos más débiles) que destruyen la confianza.
  • Experiencias mixtas con programas de “verificación cibernética”: algunos obtienen aprobación rápidamente, otros son rechazados pese a un gasto elevado.
  • Las salvaguardas también interfieren con el aprendizaje (química, biología) y tareas cotidianas (raspado de texto con restricciones de copyright, carga de mapas), reforzando la sensación de que “la IA no es para los usuarios”.