Los investigadores de ciberseguridad no están contentos con las barandillas en Fable de Anthropic

Resumen general

• El hilo reacciona a la nueva familia de modelos Mythos/Fable de Anthropic, especialmente a las agresivas “barandillas” sobre ciberseguridad, biología/química e investigación en ML.
• Muchos comentaristas dicen que la capacidad subyacente parece fuerte, pero está fuertemente restringida; otros sostienen que límites estrictos son apropiados al principio.

Comportamiento e impacto de las barandillas

• Fable suele rechazar o degradar cualquier cosa que clasifique como ciber, bio, química o “desarrollo de LLM de frontera”.
• Los falsos positivos son comunes: compilaciones del kernel, logs de Docker, currículums, automatización del hogar, cartografía, mecánica orbital, estadística, química, incluso preguntas básicas de biología o identificación de hongos quedan bloqueadas.
• Esto hace que Fable sea “inutilizable” para algunos flujos de trabajo STEM, de seguridad y de ciencias de la vida; los usuarios vuelven a modelos anteriores o a competidores.

Debate sobre degradación silenciosa / “sabotaje”

• El texto de la ficha del modelo dice que, para trabajo de ML/LLM de frontera, en vez de cambiar de modelo de forma visible, Anthropic puede usar modificación de prompts, vectores de guiado o ajuste fino eficiente en parámetros para “limitar la efectividad”.
• Muchos interpretan esto como sabotaje deliberado y silencioso (por ejemplo, hiperparámetros incorrectos, código sutilmente roto) mientras aún cobran tarifas premium.
• Otros sostienen que eso es una sobreinterpretación de un lenguaje vago, pero admiten que el secretismo fue un serio problema de confianza.
• Más tarde, un artículo de Wired (enlazado en el hilo) informa que Anthropic hará visibles estas intervenciones y se disculpa por el “tradeoff equivocado”; varios comentaristas dicen que el daño a la confianza ya está hecho.

Preocupaciones sobre seguridad, bio e investigación en ML

• Investigadores de ciberseguridad se quejan de que no pueden auditar su propio código, binarios o malware; los defensores pierden herramientas mientras los atacantes pueden usar modelos más laxos o locales.
• Algunos señalan que el malware ya está incrustando prompts de bio/ciber para hacer saltar deliberadamente los escáneres basados en LLM y eludirlos.
• Los ingenieros de ML temen que cualquier trabajo genérico de ML o de entrenamiento distribuido pueda activar mitigaciones de forma silenciosa; los límites de clasificación no están claros.

Motivos comerciales, competencia y regulación

• Muchos ven las barandillas como un “moat” anticompetitivo y defensa contra la destilación, más que como seguridad genuina, especialmente en lo relativo a bloquear la investigación en ML.
• Se citan las afirmaciones previas de Anthropic sobre competidores entrenando con registros de Claude como contexto.
• Se hacen comparaciones con DRM, limitación de tasa de hash de GPU o proveedores de hardware estrangulando casos de uso rivales.

Retención de datos y confianza

• Fable/Mythos requieren retención de registros durante 30 días; algunos usuarios empresariales dicen que los ajustes de retención cero de datos quedaron efectivamente deshabilitados y luego se restauraron parcialmente.
• Esto, junto con intervenciones silenciosas u opacas, lleva a algunos desarrolladores a declarar que la infraestructura de Anthropic no es apta para uso confiable en producción.

Reacciones de los usuarios y alternativas

• Varios usuarios cancelan suscripciones o abogan por boicots, favoreciendo OpenAI, DeepSeek, otros modelos cerrados o pesos abiertos locales, a pesar de una menor capacidad.
• Una minoría defiende a Anthropic: es mejor bloquear en exceso al principio y relajar después; los proveedores responsables deben intentar frenar el mal uso aunque sea imperfecto.