DaisyRose-27B
Um novo modelo de pesos abertos chamado DaisyRose-27B, uma variante fortemente pós-treinada de Qwen 3.8 27B, está chamando atenção por suas pontuações fortes em benchmarks e por uma execução de treinamento substancial (18 dias em 144 GPUs H200), mas alguns usuários questionam se os ganhos refletem capacidade real ou “benchmaxxing” ajustado para avaliações específicas. Os comentaristas exploram estimativas de custo de hardware, quantização e implantação em GPUs de consumo, e se o pós-treinamento focado em RL pode de fato melhorar os modelos de forma ampla sem regressões ocultas em áreas como prosa, compreensão de metáforas ou generalidade. A discussão situa DaisyRose dentro de uma tendência mais ampla de terceiros fazerem pós-treinamento em modelos abertos, ao mesmo tempo em que levanta preocupações sobre dependência de dados de avaliação, privacidade de dados e os limites das abordagens atuais para AGI e autoaperfeiçoamento.
Preocupações com desempenho e “benchmaxxing”
- Alguns usuários testam DaisyRose-27B contra conjuntos de avaliação privados.
- Um relato: DaisyRose supera ligeiramente outro finetune baseado em Qwen 3.8 em um bench de 86 tarefas de “raciocínio médio” (0,898 vs 0,87), mas usa mais VRAM, contexto mais longo, quantização diferente e mais tokens.
- Dadas as vantagens de DaisyRose (cache KV, contexto, quantização, velocidade de decodificação, hardware), esse ganho é visto por alguns como marginal e rotulado como “benchmaxxing”.
- Outros observam que o blog mostra várias benchmarks melhorando sem regressões, mas os céticos ainda esperam trade-offs ocultos em áreas não medidas (por exemplo, prosa, compreensão de metáforas, interpretação de prompts).
Configuração de treinamento, topologia e custo
- O treinamento supostamente usou 144 GPUs H200 por 18 dias (~63 mil GPU-hours).
- Estimativas de preço de ordem de grandeza com base no mercado atual colocam o custo em torno de centenas de milhares de dólares, com ampla variação por fornecedor.
- A discussão sobre se aceleradores mais baratos (por exemplo, chips de outros fornecedores) ajudariam é controversa; alguns argumentam que, se houvesse um caminho claramente mais barato e confiável, ele já estaria sendo usado.
- Os autores afirmam que usaram nós dedicados de rollout e de trainer com RDMA entre eles.
Quantização, formatos e hardware de consumo
- Frustração inicial pela falta de GGUF; uma conversão comunitária para GGUF é rapidamente compartilhada.
- Esclarecimento de que o modelo já está quantizado, mas precisa de conversão para GGUF para uso no estilo do llama.cpp.
- Modelos baseados em Qwen 27B são elogiados por “desempenharem acima do seu peso” e caberem em máquinas de consumo mais avançadas (por exemplo, Mac Mini / laptop com RAM suficiente ou GPUs de 48GB de VRAM).
Estratégia de pós-treinamento e generalização
- DaisyRose é uma execução pesada de pós-treinamento/RL em cima de Qwen 3.8 27B, que por sua vez já vinha pós-treinado a partir de 3.6.
- O processo é descrito como descoberta de lacunas mais dados segmentados de alta qualidade, especialmente para impulsionar o Terminal Bench 4.1.
- Alguns argumentam que RL focado pode melhorar tarefas-alvo e ainda generalizar modestamente para benchmarks relacionados.
- Outros acreditam que o pós-treinamento pesado inevitavelmente estreita os modelos, tornando-os melhores em tarefas de programação/avaliação, mas piores em tarefas linguísticas confusas e não passíveis de benchmark.
Ecossistema mais amplo e direções futuras
- Fazem-se comparações com outros modelos abertos pós-treinados (por exemplo, Ember, Particle, Nex, Sabi-noema), com resultados mistos.
- Há demanda por mais modelos de base fortes e de pesos abertos além de Qwen, e por variantes otimizadas para idiomas específicos ou tarefas de backend.
- Alguns pedem um modelo que agregue melhorias de múltiplos esforços de pós-treinamento, em vez de muitos forks apenas ligeiramente melhores que Qwen.