Memdoor: Un equipo de 5 modelos Qwen3.8-27B supera a Fable 5 en LiveCodeBench Hard

Artículo original ↗ Discusión en Hacker News ↗

Una nueva configuración multiagente de “equipo”, construida sobre cinco modelos abiertos Qwen3.8‑27B, supuestamente iguala o supera a Fable 5 de Anthropic en el benchmark de programación LiveCodeBench Hard, lo que despierta interés sobre si unos arneses ingeniosos pueden permitir que modelos locales más pequeños compitan con sistemas propietarios de frontera. Los comentaristas examinan cuánto de la mejora proviene de agentes basados en roles y una mejor gestión del contexto frente a la calidad bruta del modelo, y cuestionan la fiabilidad de benchmarks antiguos y saturados como LiveCodeBench. El hilo también se amplía a preocupaciones por mantener viables modelos abiertos potentes y sin censura en hardware de consumo, frente a una moderación de plataformas cada vez más estricta y modelos cerrados que avanzan rápidamente.

Benchmark y resultado informado

  • Memdoor reimplementa un arnés GVS5H discutido previamente usando un “equipo” de cinco agentes Qwen3.8‑27B (planificador, ideadores, solucionador, gestor, reparador).
  • En los primeros 10 problemas de LiveCodeBench Hard, informa 9.8/10 frente al arnés original en 9.6 y Fable 5 en 8.0.
  • Algunos ven esto como evidencia de que los modelos abiertos de 27B, con un buen arnés, pueden igualar o superar a un modelo “de frontera” para programación en este benchmark.
  • Otros argumentan que la muestra es diminuta y que LiveCodeBench Hard es antiguo y probablemente está saturado/contaminado, así que las afirmaciones de paridad son débiles; quieren benchmarks más nuevos y amplios, además de comparaciones de velocidad/costo.

Arneses y “equipos” multiagente

  • Varios comentarios enfatizan que las configuraciones multiagente y la ingeniería del arnés (roles, bucles de iteración, comunicación basada en archivos, gestión del contexto) pueden aumentar significativamente el rendimiento.
  • Una postura: los equipos funcionan porque dividen el trabajo, restringen el contexto por rol y filtran tokens intermedios ruidosos, ampliando y enfocando de forma efectiva el contexto utilizable.
  • Otra postura: es fácil ajustar un arnés para ganar una evaluación específica, pero difícil construir uno que generalice; las “bandadas de idiotas” a menudo solo hacen bucles en paralelo.

Calidad del modelo, cuantización y alternativas

  • Debate sobre Bonsai de 2 bits y otras cuantizaciones de muy pocos bits: algunos dicen que son rápidas y “no tan tontas”, otros dicen que las cuantizaciones de 2–3 bits son claramente peores para programación real, con errores que se acumulan en diálogos largos.
  • Las cuantizaciones de más bits (Q5/Q6) o buenas cuantizaciones ISTA de 3 bits se ven como compromisos utilizables; las afirmaciones de “95% de la precisión total” se critican por seleccionar benchmarks a conveniencia.
  • Muchos sugieren probar Qwen3.8‑Flash‑Next o futuras variantes de Qwen4, que según los benchmarks son más fuertes y rápidas.

Modelos locales frente a modelos propietarios de frontera

  • Hay un fuerte deseo de mantener competitivos los modelos locales y de pesos abiertos para evitar depender de los hyperscalers y de sus políticas de censura/seguridad (por ejemplo, bloquear ingeniería inversa de juegos, scraping, cierta automatización web).
  • Algunos argumentan que los modelos abiertos actuales (Qwen, DeepSeek, GLM) ya son “suficientemente buenos” para la mayoría de la programación si la persona es hábil y usa herramientas/tests.
  • Otros responden que los modelos propietarios siguen resolviendo tareas difíciles mucho más rápido y con menos iteraciones, y que los pesos abiertos envejecen a medida que su conocimiento incorporado queda obsoleto sin entrenamiento continuo.

Hardware y viabilidad

  • Los ejemplos van desde portátiles de consumo (Macs de la serie M, GPUs para juegos con 16–32GB de VRAM) ejecutando 27B/Flash‑Next a velocidades modestas, hasta equipos multi‑GPU y chips especializados (Cerebras) para un rendimiento muy alto.
  • Hay optimismo de que los motores de inferencia y la cuantización mejorarán para que los modelos de clase Qwen sean rápidos y baratos en hardware de consumo, pero 16GB de VRAM sigue siendo justo para un trabajo multiagente serio.

Apertura, censura y alojamiento

  • Preocupa que plataformas como Hugging Face retiren cada vez más modelos “uncensored” o “abliterated”; se comparten enlaces a modelos afinados para ciberseguridad retirados y mirrors que rastrean las bajas.
  • Otros sostienen que esos modelos simplemente migrarán a hosts alternativos o torrents; el proceso de “des-censurar” pesos abiertos ya se entiende bien y es relativamente asequible.

Uso real y límites

  • Algunos informan que usan Qwen/DeepSeek/GLM locales para programación real: detección de errores, herramientas pequeñas, ingeniería inversa y clones de juegos, con buenos resultados pero sin autonomía al nivel de la frontera.
  • Los escépticos señalan que gran parte del contenido actual es “charla de benchmark y tokens por segundo”, y que todavía no han visto muchos sistemas de producción sustanciales construidos principalmente sobre modelos locales.