¿Se ha “nerfeado” Opus 5.5? Los patrones de pensamiento cambiaron el 3 de noviembre
Los usuarios del modelo Claude Opus 5.5 de Anthropic informan de una caída repentina en la calidad del código, la fiabilidad y el comportamiento de “pensamiento”, lo que lleva a muchos a sospechar que el modelo ha sido “nerfeado” en silencio, especialmente antes de nuevos lanzamientos de modelos y de la IPO de la empresa. Otros replican que los rastreadores de benchmarks y las evaluaciones basadas en la API no muestran una degradación clara, lo que sugiere variación normal, cambios en el harness o sesgo del usuario, en lugar de una degradación deliberada. El debate pone de relieve una creciente desconfianza hacia las actualizaciones opacas de modelos, preocupaciones sobre pruebas A/B y recortes de costes en los niveles de pago, y un renovado interés por modelos de pesos abiertos o autoalojados que ofrecen un comportamiento más predecible aunque sean menos capaces.
Percibido “nerfeo” de Opus 5.5 y modelos relacionados
- Muchos usuarios informan una caída clara en la calidad de Opus 5.5 a partir de alrededor del 3 al 7 de noviembre: más errores básicos, pasos omitidos, peor código, fallos repetidos en llamadas a herramientas, ignorar instrucciones previas y comportamiento “resacoso” / perezoso.
- Algunos también informan que Fable y otros modelos de Anthropic se han vuelto más lentos, más verbosos, menos fiables y que activan con más frecuencia los límites de seguridad.
- Varios mencionan que necesitan subir el nivel de esfuerzo (por ejemplo, a “high”/“x-high”) para obtener resultados que antes funcionaban en “low”/“medium”, y que consumen los límites de uso mucho más rápido.
Explicaciones propuestas (especulativas dentro del hilo)
- Capacidad / coste: reasignar cómputo para entrenar o lanzar nuevos modelos; cuantización o destilación intensivas hacia variantes más baratas; reducir tokens de pensamiento o contexto; priorizar el tráfico “fast” o empresarial/API sobre los usuarios de suscripción.
- Marketing / IPO: debilitar modelos antiguos antes de nuevos lanzamientos para que las mejoras parezcan drásticas; obsolescencia planificada / “enshittification”.
- Pruebas A/B: experimentos silenciosos en prompts del harness, capas de seguridad, enrutamiento y niveles de cuantización; algunos afirman que los usuarios de suscripción se ven más afectados que la API o las versiones alojadas en la nube.
- Errores: se citan ejemplos pasados de regresiones relacionadas con el harness o con TPU, problemas de manejo de caché o cambios de prompt que perjudicaron el rendimiento.
Escepticismo y contraargumentos
- Varios comentaristas dicen que su uso prolongado no muestra una degradación significativa más allá de la variación normal.
- Los rastreadores públicos (p. ej., Livenerf, nerf-bench, otros benchmarks) y algunas suites privadas de evaluación aparentemente no ven una caída clara en el rendimiento de Opus 5.5, especialmente vía API.
- Algunos atribuyen el patrón a la psicología humana: la novedad es alta cuando se lanzan los modelos, luego las expectativas aumentan y los fallos se vuelven más salientes; sesgo de confirmación en torno a narrativas de “nerf”.
- Unos pocos evals pequeños muestran, como mucho, cambios modestos o estadísticamente poco claros.
Temas más amplios: confianza, determinismo y riesgo empresarial
- Fuerte frustración porque las herramientas de pago cambian de forma impredecible, rompiendo flujos de trabajo, revisiones de seguridad y proyectos de larga duración.
- Se elogian los modelos locales/de pesos abiertos por su estabilidad y control de versiones, a pesar de su menor capacidad bruta y de sus altos costes de hardware; otros argumentan que los modelos de frontera en la nube siguen muy por delante en calidad y productividad general.
- Llamadas a:
- Registros de cambios transparentes para modelos y harnesses.
- Seguimiento independiente y continuo al estilo nerf-bench (incluyendo pruebas con “secret shopper” de suscripción).
- Separación clara entre nuevas versiones y cambios silenciosos en los SKUs existentes.
- En general, si ocurrió o no un nerfeo real y medible sigue sin estar claro en el hilo; lo que sí está claro es una amplia pérdida de confianza en la estabilidad del modelo.