Fable 5 – El pensamiento medio disminuyó en agosto

Artículo original ↗ Discusión en Hacker News ↗

Las afirmaciones de que el modelo Fable 5 de Anthropic se ha degradado discretamente durante varias semanas, aparentemente “pensando” menos y rindiendo peor, han reavivado la preocupación de que los proveedores de IA recorten costes de inferencia tras el lanzamiento mientras siguen vendiendo el mismo modelo de marca. Los comentaristas debaten cuánto de la supuesta caída es real frente al sesgo del usuario o a cambios en las cargas de trabajo, y si la telemetría a nivel de tokens y los benchmarks de terceros muestran un incumplimiento sistemático de las capacidades de “razonamiento” anunciadas. El hilo se amplía hacia llamados a la transparencia, la regulación y un mayor uso de modelos abiertos o autoalojados para evitar pruebas A/B opacas, cuantización oculta y cambios en la calidad del servicio.

Degradación percibida del modelo

  • Muchos usuarios informan que Fable 5 (y versiones anteriores de Opus, además de los modelos de otros proveedores) se sienten claramente peores semanas después del lanzamiento: menos proactivos, más superficiales, más “ansiosos por agradar”, peores en la navegación de código y en el uso de herramientas.
  • Las quejas abarcan distintos dominios (sistemas distribuidos, embebidos, programación general, matemáticas, lluvia de ideas); algunos dicen que las “oscilaciones de humor” del día a día hacen que los modelos se sientan como máquinas tragaperras.
  • Varios señalan guardarraíles más estrictos y cambios en el system prompt tras intervenciones de seguridad como una posible fuente de comportamiento “nerfeado”.

Posibles causas técnicas / económicas

  • Hipótesis: menor cómputo en tiempo de prueba, cuantización en tiempo de ejecución, reducción de “tokens de pensamiento”, resolución degradada de la caché KV, reducción de carga bajo alta demanda, enrutamiento secreto a modelos más baratos o degradaciones de esfuerzo en modo automático.
  • Algunos sugieren que las restricciones de capacidad y el entrenamiento de nuevos modelos llevan a reasignar cómputo lejos de los existentes.
  • Otros proponen estrategias de “obsolescencia planificada” / “tono de Shepard”: lanzar con calidad completa, abaratar gradualmente la inferencia y luego publicar un “nuevo” modelo que principalmente restaura el comportamiento original.

Medición, benchmarks y metodología

  • El análisis original de los “tokens de pensamiento” es muy debatido:
    • Quienes lo apoyan dicen que el corpus de varias semanas y varios proyectos, junto con las tendencias de tokens, sugieren fuertemente cambios sistemáticos.
    • Quienes lo critican sostienen que es post hoc sobre cargas de trabajo cambiantes, no un benchmark fijo; la variación diaria podría venir del lado del usuario.
    • Muchos consideran inapropiado comparar sesiones de programación con los recuentos de tokens de razonamiento de ARC‑AGI‑2, ya que esas tareas son deliberadamente extremas.
  • Los rastreadores externos (por ejemplo, benchmarks de programación repetidos) por lo general muestran pequeñas fluctuaciones; algunos ven caídas reales, otros dicen que están dentro del ruido esperado.

Confianza, transparencia y regulación

  • Hay una fuerte preocupación por que los proveedores operen “cajas negras” opacas, y puedan cambiar la cuantización, el esfuerzo o incluso los modelos subyacentes sin divulgación.
  • Se debate si esto es fraude directo o si está cubierto por los Términos de Servicio, que permiten modificar o degradar los servicios.
  • Varios llamamientos a:
    • Supervisión independiente al estilo de “pesas y medidas”,
    • SLAs o métricas para la “inteligencia”,
    • Pruebas de identidad del modelo/cuanti​zación para cada solicitud.

Percepción del usuario, no determinismo y alternativas

  • Varios argumentan que los humanos son malos para juzgar sistemas estocásticos y están sujetos a la adaptación hedónica; el modelo puede ser constante mientras las expectativas suben o los proyectos se vuelven más complejos.
  • Otros insisten en que el cambio es demasiado grande y abrupto para explicarse solo por sensaciones.
  • La frustración está impulsando el interés en modelos de pesos abiertos y autoalojados (Qwen, GLM, DeepSeek, etc.) por estabilidad y control, incluso si la capacidad punta es algo menor o los costes de hardware son altos.