Será que é Mythos?

Design e escopo do benchmark

• O corpus consiste em bugs reais que o Mythos encontrou anteriormente; outros modelos são testados nesses arquivos.
• Durante o benchmark, os modelos são solicitados a auditar um arquivo (com contexto opcional do repositório) sem serem informados onde ou qual é o bug.
• Um modelo “juiz” mais forte, dado o local e a descrição do bug, pontua se os concorrentes encontraram e explicaram o problema correto.
• Tetos de custo (por exemplo, US$100 por modelo) afetam significativamente os resultados; o GPT‑5.5‑Pro completou apenas 4/9 casos antes de atingir o limite.
• Um harness minimalista com ferramentas básicas (read/grep) teve desempenho igual ou melhor do que configurações de “agente” mais ricas, consumindo menos tokens.

Desempenho relativo dos modelos

• Nenhum modelo público igualou o desempenho implícito de 9/9 do Mythos; os melhores modelos que não eram Mythos normalmente encontraram 4/9 bugs.
• O GPT‑5.5‑Pro apareceu no topo por porcentagem apenas porque executou menos casos e é considerado caro de forma irreal para auditorias amplas.
• Análises subsequentes usando a pontuação de Wilson e tempo/custo sugerem DeepSeek‑V4 e MiMo v2.5 Pro como a melhor relação custo-benefício entre os modelos testados.
• Execuções de replicação sugerem que Gemma 4 31B (dense) é excepcionalmente forte para seu tamanho, às vezes encontrando 6/9 bugs e rivalizando com modelos maiores.
• Modelos chineses/open baratos (DeepSeek, MiMo, Qwen) são vistos como realmente competitivos, e não apenas “benchmaxxed”.

Mythos/Fable vs outros modelos

• Muitos relatam que Fable/Mythos representam um salto perceptível acima de Opus e outros, especialmente em:
  • Auditoria de segurança, engenharia reversa e localização de bugs sutis.
  • Raciocínio espacial e matemática/geometria complexas (por exemplo, 6DOF, geometria computacional).
  • Condução autônoma de grandes mudanças de código ou aplicações de meta-nível.
• Alguns usuários veem modelos menores ou específicos para tarefas (por exemplo, Codex, GPT‑5.5) superando Fable em cargas de trabalho estreitas e altamente otimizadas.
• Outros acharam que Fable/Mythos eram exagerados ou apenas marginalmente melhores, especialmente ao levar em conta o alto uso de tokens.

Guardrails, segurança e “nerfing”

• Debate sobre se Mythos é apenas um modelo padrão com filtros de segurança desativados ou uma fine-tune distinta com harness especializado e persistência.
• Observações de que algumas ofertas do Google (Gemini via Antigravity) agora resistem a tarefas de segurança, enquanto Gemma 4 continua forte na busca por bugs.
• Percepção generalizada de que modelos frontier mais antigos (por exemplo, Opus 4.6, o4‑mini) se degradaram com o tempo; mecanismos propostos incluem quantização, orçamentos de raciocínio reduzidos, compressão de KV-cache e redução de especialistas MoE.
• Céticos comparam as alegações de “nerfing” a placebo de audiófilo; outros citam rastreadores de desempenho que sugerem desvio sistemático pré-lançamento.

Padrões de uso e implicações mais amplas

• Vários participantes descrevem Fable como melhor para trabalho persistente e orientado a objetivos, mas também mais “agentic”, às vezes editando código de forma excessivamente autônoma.
• Alguns preferem conversar com modelos em um estilo mais humano, alegando melhores resultados e menor troca de modo cognitivo; outros se preocupam que isso borre as fronteiras humano–máquina e arrisque “AI psychosis”.
• A preocupação central sobre Mythos: permitir que não especialistas encontrem e transformem em arma zero-days, embora defensores também possam usar LLMs para descobrir e corrigir vulnerabilidades.