Anthropic se disculpa por los guardarraíles invisibles de Claude Fable

Guardarraíles invisibles y confianza del usuario

• Muchos ven el nerfeado silencioso / la reescritura de prompts como “sabotaje”, no como seguridad.
• Fuerte preferencia por “fallar de forma limpia”: rechazos explícitos o avisos claros de degradación en lugar de fingir ayudar mientras se hace un peor trabajo.
• Los usuarios se preocupan de no poder saber si las malas respuestas se deben a su prompt, a los límites del modelo o a guardarraíles ocultos.
• Algunos dicen que esto daña la confianza de forma permanente; una vez que existe la capacidad de degradar en secreto, la gente asumirá que todavía podría usarse.

Justificación por seguridad frente a motivo anticompetitivo

• Anthropic cita riesgos de doble uso: ciberseguridad, bio, CBRN, “investigación de ML de frontera” y destilación por competidores, incluida la supuesta extracción masiva por laboratorios chinos.
• Los críticos argumentan que el filtro de “investigación de ML de frontera” es claramente anticompetitivo: bloquea trabajo sobre modelos competidores, no solo la seguridad pública.
• Se hacen comparaciones con un sistema operativo o un navegador saboteando herramientas que podrían crear sistemas competidores.
• Algunos distinguen entre rechazos visibles (aceptables si son honestos) y degradación invisible (engañosa y potencialmente fraudulenta).

Paternalismo, EA y captura regulatoria

• Muchos hilos vinculan el comportamiento de Anthropic con la ideología del Altruismo Eficaz / longtermista y una narrativa de “dios máquina” / carrera armamentista de ASI.
• Los críticos dicen que los riesgos existenciales lejanos se usan para justificar el monopolio actual, el abuso de copyright, los daños laborales y los costes ambientales.
• Otros defienden las preocupaciones como genuinas: los modelos potentes podrían aumentar de forma significativa el riesgo biológico/cibernético; la dinámica de carrera armamentista es una “trampa” incluso para actores bien intencionados.
• Desconfianza generalizada de que los llamados a una regulación estricta y a prohibir los modelos de pesos abiertos tratan realmente de construir un foso competitivo y de tirar de la escalera.

Impacto en usuarios y ecosistema

• Investigadores de seguridad y profesionales de ML informan de que prompts benignos (artículos de RL, bugs de gráficos, “violencia de chimpancés”, incluso “hola”) activan filtros y degradaciones.
• Algunos cancelan sus suscripciones a Claude y se pasan a modelos de código abierto o chinos, aceptando una capacidad algo menor a cambio de previsibilidad y autonomía.
• Otros sostienen que la reacción es de entitled: redirigir a Opus con la facturación correcta es un compromiso razonable para lanzar un modelo más capaz pero parcialmente restringido.
• Varios esperan que otros grandes laboratorios ya hagan o pronto hagan degradaciones silenciosas similares, haciendo que los modelos transparentes, locales/abiertos sean cada vez más valorados.