Livenerf: ¿Ya han nerfeado Opus 5.5?

Artículo original ↗ Discusión en Hacker News ↗

Las afirmaciones de que Anthropic y OpenAI “nerfean” silenciosamente los grandes modelos de lenguaje después del lanzamiento están siendo puestas a prueba por un nuevo benchmark público, LiveNerf, que sigue el rendimiento de Claude Opus 5.5 a lo largo del tiempo. Los comentaristas se dividen entre atribuir las supuestas caídas a la adaptación hedónica y al cambio de expectativas, frente a regresiones reales causadas por errores, cuantización, gestión de carga o estrangulamiento por nivel de suscripción. El intercambio subraya la creciente desconfianza hacia los servicios de IA opacos y propietarios, y refuerza los llamados a modelos abiertos y a una monitorización independiente y estadísticamente rigurosa de la calidad del modelo.

“Nerfeado” percibido vs. explicaciones alternativas

  • Muchos comentaristas sienten que los nuevos modelos de frontera son claramente más fuertes al lanzarse y luego se degradan en cuestión de días o semanas, especialmente en suscripciones y durante las horas punta en EE. UU.
  • Otros sostienen que la mayor parte de esto es adaptación hedónica / “efecto luna de miel”: los usuarios rápidamente se meten en tareas más difíciles, elevan sus expectativas y luego interpretan llegar a los límites del modelo como un nerfeo.
  • Una tercera visión: sí hay regresiones reales, pero sobre todo por errores, valores predeterminados del harness, enrutamiento o gestión de carga, en lugar de rebajas permanentes deliberadas.

Benchmarks y esfuerzos de medición

  • El proyecto enlazado (LiveNerf) es elogiado como una forma sistemática de seguir los cambios a lo largo del tiempo usando:
    • Paneles fijos de prompts elegidos por su variabilidad.
    • Muestreo diario, ventanas móviles de 10 días, comparaciones pareadas, errores agrupados, umbrales del 99% y exigencia de confirmación en ventanas consecutivas.
  • Otras herramientas mencionadas: Nerf Bench, los rastreadores de Marginlab (para agentes de código y Codex), y varios experimentos personales de uso/cuota.
  • Algunos señalan que estas a menudo detectan cambios en el harness o en la configuración, no necesariamente cambios en los pesos del modelo.

Infraestructura, carga y diferencias entre niveles de producto

  • Varios especulan sobre un descarte dinámico de carga:
    • Reducir el “esfuerzo de razonamiento” / “juice”, cuantizar modelos o estrangular el uso de herramientas durante alta demanda.
    • Prompts de permisos más agresivos o bucles de agente más lentos como forma de estrangulamiento suave.
  • Varios comentaristas afirman que solo ven problemas en suscripciones de consumo / UIs alojadas, no en planes enterprise o APIs por token.
  • Hay debate sobre si los socios cloud que sirven pesos licenciados verían los mismos efectos.

Errores, cambios del harness y regresiones documentadas

  • Se citan enlaces donde los proveedores publicaron posteriormente análisis de incidentes:
    • Calidad degradada debido a errores de infraestructura/harness o cambios en el esfuerzo por defecto.
    • Los proveedores insisten en que no reducen deliberadamente la calidad en función de la demanda o la hora del día, enmarcándolo como incidentes, no como nerfeos.
  • Algunos argumentan que, para los usuarios, las regresiones del harness y los nerfeos del modelo se sienten indistinguibles.

Confianza, apertura y manipulación de benchmarks

  • Muchos expresan poca confianza en laboratorios cerrados, viendo el “nerfeo” como plausible dada la presión de costes, las cuotas y el enrutamiento opaco.
  • Otros contraargumentan que un nerfeo deliberado sería arriesgado económicamente dada la clientela enterprise y los benchmarks medibles.
  • Se plantea la preocupación de que los benchmarks públicos pueden ser detectados y “benchmaxxed” (tratados como caso especial), lo que empuja a algunos a abogar por modelos de pesos abiertos y conjuntos de prueba privados/rotativos.

Psicología, anécdotas y áreas poco claras

  • El hilo está lleno de anécdotas contradictorias: algunos ven caídas masivas; otros informan de rendimiento estable o mejorando.
  • Varios señalan la detección de patrones humana, la superstición y afirmaciones “basadas en la vibra” sin datos.
  • En general: la existencia, frecuencia e intención de la degradación posterior al lanzamiento siguen siendo discutidas y parcialmente poco claras; la discusión apoya fuertemente una medición más transparente, longitudinal y de terceros.