¿Será Mythos?

Diseño y alcance del benchmark

• El corpus consiste en bugs reales que Mythos encontró previamente; otros modelos se prueban sobre esos archivos.
• Durante la evaluación, se pide a los modelos que auditen un archivo (con contexto opcional del repositorio) sin decirles dónde ni cuál es el bug.
• Un modelo “juez” más potente, dado el lugar y la descripción del bug, puntúa si los competidores encontraron y explicaron el problema correcto.
• Los límites de coste (p. ej., $100 por modelo) afectan significativamente los resultados; GPT‑5.5‑Pro solo completó 4/9 casos antes de alcanzar el límite.
• Un harness mínimo con herramientas básicas (read/grep) rindió igual o mejor que configuraciones de “agente” más ricas, mientras consumía menos tokens.

Rendimiento relativo de los modelos

• Ningún modelo público igualó el rendimiento implícito de 9/9 de Mythos; los mejores modelos no‑Mythos por lo general encontraron 4/9 bugs.
• GPT‑5.5‑Pro quedó en la cima por porcentaje solo porque ejecutó menos casos y se considera irrealmente caro para auditorías amplias.
• Un análisis posterior usando la puntuación de Wilson y tiempo/coste sugiere DeepSeek‑V4 y MiMo v2.5 Pro como la mejor relación calidad‑precio entre los modelos probados.
• Las réplicas sugieren que Gemma 4 31B (denso) es excepcionalmente fuerte para su tamaño, a veces encontrando 6/9 bugs y rivalizando con modelos más grandes.
• Los modelos chinos/open source baratos (DeepSeek, MiMo, Qwen) se consideran realmente competitivos, no solo “benchmaxxed”.

Mythos/Fable frente a otros modelos

• Muchos consideran Fable/Mythos un salto notable por encima de Opus y otros, especialmente en:
  • Auditoría de seguridad, ingeniería inversa y búsqueda de bugs sutiles.
  • Razonamiento espacial y matemáticas/geometría complejas (p. ej., 6DOF, geometría computacional).
  • Impulsar de forma autónoma grandes cambios de código o metaaplicaciones.
• Algunos usuarios ven modelos más pequeños o específicos para tareas (p. ej., Codex, GPT‑5.5) superando a Fable en cargas de trabajo estrechas y muy optimizadas.
• Otros sintieron que Fable/Mythos estaban sobrevalorados o solo eran marginalmente mejores, especialmente al tener en cuenta el alto uso de tokens.

Barreras de seguridad, seguridad y “nerfing”

• Debate sobre si Mythos es solo un modelo estándar con filtros de seguridad desactivados o una combinación distinta de fine‑tune más harness especializado y persistencia.
• Observaciones de que algunas ofertas de Google (Gemini vía Antigravity) ahora resisten tareas de seguridad, mientras que Gemma 4 sigue siendo fuerte en la detección de bugs.
• Percepción generalizada de que los modelos frontier antiguos (p. ej., Opus 4.6, o4‑mini) han degradado con el tiempo; los mecanismos propuestos incluyen cuantización, presupuestos de razonamiento reducidos, compresión de la caché KV y reducción de expertos MoE.
• Los escépticos comparan las afirmaciones de “nerfing” con el efecto placebo audiófilo; otros citan rastreadores de rendimiento que sugieren una deriva sistemática previa al lanzamiento.

Patrones de uso e implicaciones más amplias

• Varios participantes describen Fable como mejor para un trabajo persistente y orientado a objetivos, pero también más “agentic”, a veces editando código de forma excesivamente autónoma.
• Algunos prefieren conversar con los modelos en un estilo más humano, alegando mejores resultados y menos cambio de modo cognitivo; otros temen que esto difumine los límites humano‑máquina y arriesgue una “psicosis de IA”.
• La preocupación clave sobre Mythos: permitir que personas sin experiencia encuentren y armen zero‑days, aunque los defensores también pueden usar LLMs para descubrir y parchear vulnerabilidades.