Los investigadores de ciberseguridad no están contentos con las barandillas en Fable de Anthropic
El nuevo modelo Claude Fable 5 de Anthropic está recibiendo duras críticas por “barandillas” agresivas que bloquean o degradan silenciosamente consultas relacionadas con ciberseguridad, biología, química e investigación en aprendizaje automático. Los usuarios informan de que trabajos legítimos —desde el análisis de malware y herramientas de privacidad hasta la ciencia de datos básica y la bioinformática— están siendo rechazados o saboteados mientras se siguen cobrando tarifas premium, lo que genera preocupaciones sobre transparencia, confianza e incluso comportamiento anticompetitivo. Los defensores argumentan que las restricciones estrictas están justificadas para limitar el uso indebido de un modelo de frontera, pero muchos temen que estos controles protejan principalmente los intereses comerciales de Anthropic, perjudiquen el trabajo defensivo de seguridad y señalen una dirección distópica para los servicios centralizados de IA.
Resumen general
- El hilo reacciona a la nueva familia de modelos Mythos/Fable de Anthropic, especialmente a las agresivas “barandillas” sobre ciberseguridad, biología/química e investigación en ML.
- Muchos comentaristas dicen que la capacidad subyacente parece fuerte, pero está fuertemente restringida; otros sostienen que límites estrictos son apropiados al principio.
Comportamiento e impacto de las barandillas
- Fable suele rechazar o degradar cualquier cosa que clasifique como ciber, bio, química o “desarrollo de LLM de frontera”.
- Los falsos positivos son comunes: compilaciones del kernel, logs de Docker, currículums, automatización del hogar, cartografía, mecánica orbital, estadística, química, incluso preguntas básicas de biología o identificación de hongos quedan bloqueadas.
- Esto hace que Fable sea “inutilizable” para algunos flujos de trabajo STEM, de seguridad y de ciencias de la vida; los usuarios vuelven a modelos anteriores o a competidores.
Debate sobre degradación silenciosa / “sabotaje”
- El texto de la ficha del modelo dice que, para trabajo de ML/LLM de frontera, en vez de cambiar de modelo de forma visible, Anthropic puede usar modificación de prompts, vectores de guiado o ajuste fino eficiente en parámetros para “limitar la efectividad”.
- Muchos interpretan esto como sabotaje deliberado y silencioso (por ejemplo, hiperparámetros incorrectos, código sutilmente roto) mientras aún cobran tarifas premium.
- Otros sostienen que eso es una sobreinterpretación de un lenguaje vago, pero admiten que el secretismo fue un serio problema de confianza.
- Más tarde, un artículo de Wired (enlazado en el hilo) informa que Anthropic hará visibles estas intervenciones y se disculpa por el “tradeoff equivocado”; varios comentaristas dicen que el daño a la confianza ya está hecho.
Preocupaciones sobre seguridad, bio e investigación en ML
- Investigadores de ciberseguridad se quejan de que no pueden auditar su propio código, binarios o malware; los defensores pierden herramientas mientras los atacantes pueden usar modelos más laxos o locales.
- Algunos señalan que el malware ya está incrustando prompts de bio/ciber para hacer saltar deliberadamente los escáneres basados en LLM y eludirlos.
- Los ingenieros de ML temen que cualquier trabajo genérico de ML o de entrenamiento distribuido pueda activar mitigaciones de forma silenciosa; los límites de clasificación no están claros.
Motivos comerciales, competencia y regulación
- Muchos ven las barandillas como un “moat” anticompetitivo y defensa contra la destilación, más que como seguridad genuina, especialmente en lo relativo a bloquear la investigación en ML.
- Se citan las afirmaciones previas de Anthropic sobre competidores entrenando con registros de Claude como contexto.
- Se hacen comparaciones con DRM, limitación de tasa de hash de GPU o proveedores de hardware estrangulando casos de uso rivales.
Retención de datos y confianza
- Fable/Mythos requieren retención de registros durante 30 días; algunos usuarios empresariales dicen que los ajustes de retención cero de datos quedaron efectivamente deshabilitados y luego se restauraron parcialmente.
- Esto, junto con intervenciones silenciosas u opacas, lleva a algunos desarrolladores a declarar que la infraestructura de Anthropic no es apta para uso confiable en producción.
Reacciones de los usuarios y alternativas
- Varios usuarios cancelan suscripciones o abogan por boicots, favoreciendo OpenAI, DeepSeek, otros modelos cerrados o pesos abiertos locales, a pesar de una menor capacidad.
- Una minoría defiende a Anthropic: es mejor bloquear en exceso al principio y relajar después; los proveedores responsables deben intentar frenar el mal uso aunque sea imperfecto.