Bonsai 2 27B: Compressão Quase Sem Perda em uma Pegada 9x Menor

Artigo original ↗ Discussão no Hacker News ↗

Uma nova versão “Bonsai 2” do modelo de linguagem Qwen 3.8 27B afirma precisão quase sem perdas enquanto comprime os pesos para um formato ternário de 5,9 GB, pequeno o bastante para rodar em GPUs de consumo de 8–16 GB, Apple Silicon e até em um navegador web. Usuários iniciais relatam throughput impressionante para tarefas curtas e configurações com VRAM apertada, mas resultados mistos em trabalhos de codificação agentica mais longos, com loops frequentes e desempenho no mundo real pior do que os benchmarks sugerem. Grande parte da conversa gira em torno de como ele se compara a esquemas de quantização existentes como Unsloth e ISTA, os limites práticos de contexto e VRAM, e se uma compressão tão agressiva realmente pode preservar as capacidades do modelo base.

Hardware, VRAM e Desempenho

  • Principal atrativo: modelo 27B derivado do Qwen 3.8 em ~5,9 GB, tornando viáveis GPUs de 16 GB e hardware de faixa intermediária.
  • Usuários relatam executá-lo em:
    • NVIDIA: 3070 (8 GB, no limite), 3060 (12 GB), 4090, 5090, 6000 Pro Blackwell, placas antigas de 16 GB.
    • AMD: 6700 XT, 7900 XT/XTX; a inferência funciona, mas exige o fork do Prism, ajustes específicos para HIP e, às vezes, caminhos mais lentos.
    • Apple Silicon: dispositivos M1/M2/M4/M5 veem ~7–40 tok/s, com problemas na “tensor API” do Metal no fork atual.
    • WebGPU / navegador: roda em navegadores de desktop; falha ou fica instável em alguns telefones (por exemplo, Pixel 9).
  • GPUs de 6 GB conseguem carregá-lo, mas são muito lentas (~0,7 tok/s).
  • O tamanho efetivo dos pesos é de ~5,9 GB, mas VRAM extra é necessária para o KV cache; 8 GB podem funcionar apenas com contextos curtos.

Configuração, Ferramentas e Compatibilidade

  • Os GGUFs exigem o fork do llama.cpp do Prism; o llama.cpp upstream ainda não oferece suporte ao formato ternário.
  • Usuários compartilham flags de compilação, comandos de servidor e configurações de quantização/cache para evitar OOM e melhorar a velocidade.
  • Ainda não há modelo drafter/speculative-decoding para o Bonsai 2; usuários de Spark/DGX veem benefício limitado da especulação por n-gramas.

Qualidade, Alegações de “Quase Sem Perda” e Benchmarks

  • Benchmarks no cartão do HF sugerem desempenho próximo ao de fortes quantizações de 4 bits, o que alguns consideram “incrivelmente bom” se for preciso.
  • Vários usuários relatam:
    • Loops frequentes, especialmente em WebGPU e tarefas mais longas.
    • Raciocínio de longo horizonte, codificação agentica e recuperação de texto memorizado visivelmente piores do que no Qwen 3.8 27B em precisão total.
    • Bons resultados curtos e livres, mas desempenho decepcionante como agente de codificação.
  • Alguns acham que os benchmarks são selecionados a dedo (poucas tarefas de longo contexto ou em múltiplas etapas) e que “quase sem perda” deve ser tratado com ceticismo.

Comparações com Outras Quantizações e Modelos

  • Comparado com quantizações da Unsloth (UD-Q4, variantes de 2–3 bits), a quantização de 3 bits do Qwen da ISTA e outros esquemas avançados (por exemplo, AngelSlim).
  • Consenso do fio: quantizações ingênuas de ≤4 bpw degradam rapidamente, mas QAT/PTQ sofisticados (como o Bonsai) podem descer abaixo de 2 bpw; os detalhes de implementação são proprietários ou complexos.
  • Alguns usuários agora preferem alternativas GGUF de 3–4 bits (Unsloth, ISTA) pela qualidade, usando o Bonsai בעיקרamente quando a VRAM é o gargalo.

Casos de Uso, Limitações e Direções Futuras

  • Forte interesse em:
    • Bonsai de classe 8B compatível com celular com base no Qwen 3.8.
    • Modelos muito grandes comprimidos (100B+ ou variantes Flash/Next) que poderiam caber na VRAM de consumidores de ponta.
  • Múltiplos relatos de que, em tarefas reais de codificação “agentica”, o modelo trava, entra em loop ou não consegue decidir uma abordagem, enquanto modelos fronteiriços em nuvem concluem as mesmas tarefas de forma confiável.

Discussão de Idioma e Métricas

  • Debate lateral extenso sobre expressões como “9x smaller”:
    • Alguns argumentam que é matematicamente sem sentido; outros tratam como um idiomatismo amplamente entendido que significa “1/9 do tamanho”.
    • Argumentos semelhantes aparecem em torno de “N× faster” e escolhas de unidade como mWh/token.