¿Será Mythos?

Artículo original ↗ Discusión en Hacker News ↗

Las afirmaciones de que el modelo Mythos/Fable de Anthropic puede descubrir de forma autónoma vulnerabilidades de software peligrosas llevan a examinar más de cerca cómo rinden realmente los modelos de lenguaje actuales en auditoría de seguridad. Los comentaristas analizan un benchmark en el que varios modelos revisan bases de código reales sin que se les diga dónde están los bugs, y observan que varios modelos abiertos y chinos (como DeepSeek y MiMo) se acercan o igualan a los sistemas occidentales líderes a un coste mucho menor, aunque aún quedan por debajo de las capacidades aparentes de Mythos. El hilo también plantea preocupaciones sobre las barreras de seguridad, el “nerfing” de los modelos y la rapidez con la que las herramientas autónomas de seguridad podrían cambiar el equilibrio entre atacantes y defensores.

Diseño y alcance del benchmark

  • El corpus consiste en bugs reales que Mythos encontró previamente; otros modelos se prueban sobre esos archivos.
  • Durante la evaluación, se pide a los modelos que auditen un archivo (con contexto opcional del repositorio) sin decirles dónde ni cuál es el bug.
  • Un modelo “juez” más potente, dado el lugar y la descripción del bug, puntúa si los competidores encontraron y explicaron el problema correcto.
  • Los límites de coste (p. ej., $100 por modelo) afectan significativamente los resultados; GPT‑5.5‑Pro solo completó 4/9 casos antes de alcanzar el límite.
  • Un harness mínimo con herramientas básicas (read/grep) rindió igual o mejor que configuraciones de “agente” más ricas, mientras consumía menos tokens.

Rendimiento relativo de los modelos

  • Ningún modelo público igualó el rendimiento implícito de 9/9 de Mythos; los mejores modelos no‑Mythos por lo general encontraron 4/9 bugs.
  • GPT‑5.5‑Pro quedó en la cima por porcentaje solo porque ejecutó menos casos y se considera irrealmente caro para auditorías amplias.
  • Un análisis posterior usando la puntuación de Wilson y tiempo/coste sugiere DeepSeek‑V4 y MiMo v2.5 Pro como la mejor relación calidad‑precio entre los modelos probados.
  • Las réplicas sugieren que Gemma 4 31B (denso) es excepcionalmente fuerte para su tamaño, a veces encontrando 6/9 bugs y rivalizando con modelos más grandes.
  • Los modelos chinos/open source baratos (DeepSeek, MiMo, Qwen) se consideran realmente competitivos, no solo “benchmaxxed”.

Mythos/Fable frente a otros modelos

  • Muchos consideran Fable/Mythos un salto notable por encima de Opus y otros, especialmente en:
    • Auditoría de seguridad, ingeniería inversa y búsqueda de bugs sutiles.
    • Razonamiento espacial y matemáticas/geometría complejas (p. ej., 6DOF, geometría computacional).
    • Impulsar de forma autónoma grandes cambios de código o metaaplicaciones.
  • Algunos usuarios ven modelos más pequeños o específicos para tareas (p. ej., Codex, GPT‑5.5) superando a Fable en cargas de trabajo estrechas y muy optimizadas.
  • Otros sintieron que Fable/Mythos estaban sobrevalorados o solo eran marginalmente mejores, especialmente al tener en cuenta el alto uso de tokens.

Barreras de seguridad, seguridad y “nerfing”

  • Debate sobre si Mythos es solo un modelo estándar con filtros de seguridad desactivados o una combinación distinta de fine‑tune más harness especializado y persistencia.
  • Observaciones de que algunas ofertas de Google (Gemini vía Antigravity) ahora resisten tareas de seguridad, mientras que Gemma 4 sigue siendo fuerte en la detección de bugs.
  • Percepción generalizada de que los modelos frontier antiguos (p. ej., Opus 4.6, o4‑mini) han degradado con el tiempo; los mecanismos propuestos incluyen cuantización, presupuestos de razonamiento reducidos, compresión de la caché KV y reducción de expertos MoE.
  • Los escépticos comparan las afirmaciones de “nerfing” con el efecto placebo audiófilo; otros citan rastreadores de rendimiento que sugieren una deriva sistemática previa al lanzamiento.

Patrones de uso e implicaciones más amplias

  • Varios participantes describen Fable como mejor para un trabajo persistente y orientado a objetivos, pero también más “agentic”, a veces editando código de forma excesivamente autónoma.
  • Algunos prefieren conversar con los modelos en un estilo más humano, alegando mejores resultados y menos cambio de modo cognitivo; otros temen que esto difumine los límites humano‑máquina y arriesgue una “psicosis de IA”.
  • La preocupación clave sobre Mythos: permitir que personas sin experiencia encuentren y armen zero‑days, aunque los defensores también pueden usar LLMs para descubrir y parchear vulnerabilidades.