DaisyRose-27B
Un nuevo modelo de peso abierto llamado DaisyRose-27B, una variante fuertemente post-entrenada de Qwen 3.8 27B, está llamando la atención por sus sólidos resultados en benchmarks y por una ejecución de entrenamiento sustancial (18 días en 144 GPUs H200), pero algunos usuarios cuestionan si las ganancias reflejan una capacidad real o “benchmaxxing” afinado para evaluaciones específicas. Los comentaristas analizan estimaciones de coste de hardware, cuantización y despliegue en GPUs de consumo, y si el post-entrenamiento dirigido de estilo RL puede realmente mejorar los modelos en general sin regresiones ocultas en áreas como la prosa, la comprensión de metáforas o la generalidad. El hilo sitúa DaisyRose dentro de una tendencia más amplia de terceros post-entrenando modelos abiertos, al tiempo que también plantea preocupaciones sobre la dependencia de datos de evaluación, la privacidad de los datos y los límites de los enfoques actuales para la AGI y la auto-mejora.
Preocupaciones sobre rendimiento y “benchmaxxing”
- Algunos usuarios prueban DaisyRose-27B contra conjuntos de evaluación privados.
- Un informe: DaisyRose supera ligeramente a otro finetune basado en Qwen 3.8 en un bench de 86 tareas de “razonamiento medio” (0.898 frente a 0.87), pero usa más VRAM, un contexto más largo, una cuantización diferente y más tokens.
- Dadas las ventajas de DaisyRose (KV cache, contexto, cuantización, velocidad de decode, hardware), algunos consideran que esta mejora es marginal y la etiquetan como “benchmaxxing”.
- Otros señalan que el blog muestra que varios benchmarks mejoran sin regresiones, pero los escépticos siguen esperando desventajas ocultas en áreas no medidas (p. ej., prosa, comprensión de metáforas, interpretación de prompts).
Configuración de entrenamiento, topología y coste
- Según los informes, el entrenamiento utilizó 144 GPUs H200 durante 18 días (~63k GPU-hours).
- Las estimaciones aproximadas de precio en los mercados actuales sitúan el coste en torno a cientos de miles de dólares, con gran variación según el proveedor.
- El debate sobre si unos aceleradores más baratos (p. ej., chips de otros proveedores) ayudarían es polémico; algunos argumentan que, si existiera una vía claramente más barata y fiable, ya se estaría usando.
- Los autores afirman que usaron nodos dedicados de rollout y trainer con RDMA entre ellos.
Cuantización, formatos y hardware de consumo
- Frustración inicial por la falta de GGUF; rápidamente se comparte una conversión GGUF hecha por la comunidad.
- Aclaración de que el modelo ya está cuantizado, pero necesita conversión a GGUF para usarse al estilo de llama.cpp.
- Los modelos basados en Qwen 27B son elogiados por “rendir por encima de su peso” y caber en máquinas de consumo de gama alta (p. ej., Mac Mini / portátil con suficiente RAM o GPUs con 48GB de VRAM).
Estrategia de post-entrenamiento y generalización
- DaisyRose es una ejecución intensiva de post-entrenamiento/RL sobre Qwen 3.8 27B, que a su vez ya había sido post-entrenado a partir de 3.6.
- El proceso se describe como detección de huecos más datos dirigidos de alta calidad, especialmente para mejorar Terminal Bench 4.1.
- Algunos sostienen que el RL enfocado puede mejorar tareas concretas y aun así generalizar modestamente a benchmarks relacionados.
- Otros creen que el post-entrenamiento intensivo inevitablemente estrecha los modelos, haciéndolos mejores en tareas de código/eval pero peores en tareas de lenguaje desordenadas y no benchmarkables.
Ecosistema más amplio y direcciones futuras
- Se hacen comparaciones con otros modelos abiertos post-entrenados (p. ej., Ember, Particle, Nex, Sabi-noema), con resultados mixtos.
- Hay demanda de más modelos base abiertos y potentes más allá de Qwen, y de variantes optimizadas para idiomas específicos o tareas de backend.
- Algunos piden un modelo que agregue mejoras de múltiples esfuerzos de post-entrenamiento, en lugar de muchos forks ligeramente mejores que Qwen.