Marco abierto de Anthropic para el descubrimiento de vulnerabilidades impulsado por IA

Artículo original ↗ Discusión en Hacker News ↗

Anthropic ha publicado un arnés abierto en Python para usar sus modelos Claude para encontrar vulnerabilidades de seguridad en código, lo que ha desatado un debate sobre cuán eficaces y mantenibles pueden ser estas herramientas y si sirven sobre todo para impulsar una oferta comercial de “Claude Security”. Los comentaristas se centran en el elevado uso de tokens y los costes resultantes, comparándolos con ingenieros de seguridad tradicionales, herramientas SAST y auditorías formales, y advirtiendo de una dinámica emergente de “pay-to-win” o “loot box” en la que atacantes y defensores mejor financiados simplemente fuerzan más escaneos. Muchos ven el descubrimiento de vulnerabilidades asistido por IA como realmente potente, pero sostienen que su valor depende de arneses personalizados de alta calidad, un triaje cuidadoso de falsos positivos y un cambio más amplio hacia herramientas tipo “shop jig” personales u ორგანიზativas en lugar de productos genéricos y uniformes.

Estado y propósito del proyecto

  • El repositorio se describe explícitamente como “not maintained” y se presenta más como un arnés de referencia que como una herramienta con soporte.
  • Varios comentaristas lo ven principalmente como marketing para una oferta comercial de “Claude Security” / escaneo gestionado.
  • Otros lo plantean como una biblioteca de patrones: útil para estudiar y luego recrear o adaptar internamente en lugar de adoptarlo directamente.

Costes y escalabilidad

  • El uso de tokens por agente es alto; los escaneos de bases de código completas, especialmente con modelos de primer nivel (Opus/Mythos), se perciben como caros.
  • Algunos sostienen que solo harías escaneos completos periódicamente y diffs en CI, pero otros señalan que muchas organizaciones publican en cada sprint, lo que hace que el coste recurrente sea grande.
  • Las comparaciones de coste varían: algunos dicen que contratar a una persona dedicada a seguridad podría ser más barato; otros citan informes que afirman que el escaneo basado en IA puede igualar a muchos ingenieros, lo que lo haría “pennies on the dollar” frente a auditorías tradicionales.
  • Se mencionan calculadoras externas que muestran gastos anuales de tokens de varios millones de dólares para más de 100 equipos de desarrollo si se usa intensivamente.

Eficacia, falsos positivos y flujo de trabajo

  • Sin un arnés bien diseñado, la gente informa de malos resultados y muchos falsos positivos (“vibe auditing”).
  • Incluso con un arnés, los hallazgos siguen necesitando revisión y triaje por expertos; de lo contrario, los desarrolladores se ahogan en ruido, de forma similar a los linter y SAST actuales.

Impacto en atacantes, defensores y herramientas existentes

  • Algunos ven esto como una amenaza existencial potencial o como una función eventual para los proveedores tradicionales de SAST.
  • Otros señalan que los atacantes pueden usar los mismos modelos, convirtiendo el descubrimiento de vulnerabilidades en una carrera armamentista de “proof-of-work”, pero subrayan que los fallos ya existían.
  • Entre las preocupaciones está una avalancha de informes de alta severidad que sobrecargue a los mantenedores y a los programas de bug bounty.

Código generado por IA y ciclo de vida de seguridad

  • Muchos señalan que ahora hacen falta muchos más tokens para asegurar el código que para generarlo.
  • Hay escepticismo sobre que los proveedores de IA cobren primero para generar código “sloppy” y luego para escanearlo/arreglarlo.
  • Algunos argumentan que los modelos deberían entrenarse para emitir código seguro, pero otros responden que los bugs serios a menudo atraviesan bases de código grandes y dependientes, que no se pueden razonar por completo en cada edición.

Modelo de negocio y debates del ecosistema

  • Hay debate sobre por qué los proveedores venden tokens en bruto frente a SaaS vertical:
    • Una postura afirma que, si los tokens fueran realmente mágicos, los proveedores los acapararían y dominarían industrias directamente.
    • Otros replican que vender infraestructura (como fabs o tractores) también puede ser óptimo, y que construir SaaS para el usuario final es un negocio distinto y lleno de distracciones.
  • Algunos ven los arneses de seguridad como parte de un cambio más amplio: empresas de IA convirtiendo arneses específicos de dominio (diseño, seguridad, etc.) en productos empaquetados.

Arneses de código abierto y herramientas tipo “shop jig”

  • Se mencionan múltiples herramientas alternativas o similares; algunas activan antivirus y son sobre todo para practicantes cómodos con eso.
  • Una analogía recurrente compara estos marcos con “shop jigs”: herramientas personalizadas ajustadas al flujo de trabajo de un equipo o individuo, a menudo mejor construidas internamente que usadas de catálogo.
  • Los comentaristas hablan de hacer que esos arneses sean portables entre trabajos, o compartidos dentro de las organizaciones para elevar el suelo de productividad de todo el equipo.
  • Hay un tema más amplio de que la IA hace que la tooling a medida sea tan barata que las bibliotecas/arneses generalistas se usan cada vez más como inspiración en lugar de como dependencias directas.

Confianza, nombres y preocupaciones prácticas

  • Se repite la confusión en torno al nombre de la cuenta de GitHub (“Anthropics” frente a “Anthropic”).
  • Algunos desestiman el proyecto como “open-source glue to an LLM blob” o critican que no se mantenga y esté cerrado a contribuciones.
  • Unos pocos expresan desconfianza por enviar código fuente a LLM remotos o por quedar condicionados por navegadores o motores de búsqueda específicos.