Memdoor: Uma equipe de 5 modelos Qwen3.8-27B supera o Fable 5 no LiveCodeBench Hard

Artigo original ↗ Discussão no Hacker News ↗

Uma nova configuração multiagente de “equipe”, baseada em cinco modelos abertos Qwen3.8-27B, supostamente iguala ou supera o Fable 5 da Anthropic no benchmark de programação LiveCodeBench Hard, despertando interesse sobre se harnesses inteligentes podem permitir que modelos locais menores rivalizem com sistemas proprietários de fronteira. Os comentaristas investigam quanto do ganho vem de agentes baseados em papéis e melhor gerenciamento de contexto versus a qualidade bruta do modelo, e questionam a confiabilidade de benchmarks antigos e saturados como o LiveCodeBench. A discussão também se amplia para preocupações sobre manter modelos abertos poderosos e sem censura viáveis em hardware de consumo, diante de uma moderação mais rígida em plataformas e de modelos fechados que avançam rapidamente.

Benchmark e resultado relatado

  • Memdoor reimplementa um harness GVS5H previamente discutido usando uma “equipe” de cinco agentes Qwen3.8‑27B (planner, ideators, solver, manager, repair).
  • Nos 10 primeiros problemas do LiveCodeBench Hard, ele relata 9,8/10 contra o harness original em 9,6 e o Fable 5 em 8,0.
  • Alguns veem isso como evidência de que modelos abertos de 27B, com um bom harness, podem igualar ou superar um modelo “de fronteira” em programação neste benchmark.
  • Outros argumentam que a amostra é minúscula e que o LiveCodeBench Hard é antigo e provavelmente saturado/contaminado, então afirmações de paridade são fracas; eles querem benchmarks mais novos, mais amplos e comparações de velocidade/custo.

Harnesses e “times” multiagente

  • Vários comentários enfatizam que configurações multiagente e engenharia de harness (funções, loops de iteração, comunicação baseada em arquivos, gerenciamento de contexto) podem aumentar significativamente o desempenho.
  • Um ponto de vista: equipes funcionam porque dividem o trabalho, restringem o contexto por função e filtram tokens intermediários ruidosos, expandindo e focando efetivamente o contexto utilizável.
  • Outro ponto de vista: é fácil ajustar um harness para vencer uma avaliação específica, mas difícil construir um que generalize; “enxames de idiotas” muitas vezes só entram em loop em paralelo.

Qualidade do modelo, quantização e alternativas

  • Debate sobre Bonsai 2-bit e outras quantizações de bit muito baixo: alguns dizem que são rápidas e “não tão burras assim”, outros dizem que quantizações de 2–3 bits são claramente piores para programação real, com erros se acumulando em diálogos longos.
  • Quantizações de bit mais alto (Q5/Q6) ou boas quantizações 3-bit ISTA são vistas como compromissos utilizáveis; alegações de “95% da precisão total” são criticadas como cherry-picking de benchmark.
  • Muitos sugerem testar Qwen3.8-Flash-Next ou futuras variantes Qwen4, que os benchmarks indicam serem mais fortes e mais rápidas.

Modelos de fronteira locais vs proprietários

  • Forte desejo de manter modelos locais e de pesos abertos competitivos para evitar dependência de hyperscalers e de suas políticas de censura/segurança (por exemplo, bloquear engenharia reversa de jogos, scraping, alguma automação web).
  • Alguns argumentam que os modelos abertos atuais (Qwen, DeepSeek, GLM) já são “bons o suficiente” para a maior parte da programação se o humano for habilidoso e usar ferramentas/testes.
  • Outros contrapõem que modelos proprietários ainda resolvem tarefas difíceis muito mais rápido e com menos iterações, e que pesos abertos ficarão obsoletos à medida que o conhecimento embutido ficar desatualizado sem treinamento contínuo.

Hardware e viabilidade

  • Os exemplos vão de laptops de consumo (Macs da série M, GPUs gamer com 16–32GB de VRAM) rodando 27B/Flash-Next em velocidades modestas, até rigs com várias GPUs e chips especializados (Cerebras) para throughput muito alto.
  • Há otimismo de que mecanismos de inferência melhores e quantização tornarão modelos da classe Qwen rápidos e baratos em hardware de consumo, mas 16GB de VRAM ainda é apertado para trabalho sério multiagente.

Abertura, censura e hospedagem

  • Preocupação de que plataformas como Hugging Face removam cada vez mais modelos “uncensored” ou “abliterated”; links são fornecidos para modelos cyber ajustados removidos e mirrors que acompanham retiradas.
  • Outros argumentam que esses modelos simplesmente migrarão para hosts alternativos ou torrents; o processo de “des-censurar” pesos abertos já é bem compreendido e relativamente barato.

Uso no mundo real e limites

  • Alguns relatam usar Qwen/DeepSeek/GLM locais para programação real: encontrar bugs, pequenas ferramentas, engenharia reversa e clones de jogos, com boa autonomia, mas sem nível de fronteira.
  • Céticos observam que muito do conteúdo atual é “fala de benchmark e tokens por segundo”, e ainda não viram muitos sistemas substanciais em produção construídos principalmente sobre modelos locais.