Comparando as quantizações do Qwen3.8 27B: 4 bits se mantém, 1 bit colapsa

Resultados de quantização e lacunas

• O tópico gira em torno de benchmarks que mostram o Qwen3.8-27B em 4 bits muito próximo da qualidade bf16, enquanto 1 bit em grande parte colapsa.
• Várias pessoas criticam o fato de que as quantizações de 3 bits não foram benchmarkadas com mais profundidade, já que elas são cruciais para GPUs de consumo de 16 GB e contextos longos.
• Alguns relatam que, para certos problemas difíceis de programação, as diferenças entre Q4/Q5/Q6 são muito visíveis, contradizendo a ideia de que “você não vê diferença acima de 4 bits”.

Desempenho no mundo real e configurações

• Vários usuários compartilham configurações funcionais em GPUs da classe de 16 GB (por exemplo, 5060 Ti, 9070 XT, 5090, 3090), com quantizações Q3/Q4, flash attention, quantização do KV cache e offload do projetor de visão para esticar a VRAM.
• Velocidades relatadas: aproximadamente 30–50 tok/s em GPUs intermediárias e centenas a milhares no prefill; 200+ tok/s em uma 5090 com NVFP4.
• Usuários de Apple Silicon consideram o Qwen3.8-27B utilizável, mas muito mais lento que a nuvem, mesmo com runtimes otimizados (por exemplo, MTPLX).

3 bits, 1 bit e quantização do KV cache

• Esquemas dinâmicos de 3 bits (Unsloth, GSQ-RCO, “Flash-GGUF”) são destacados como promissores em velocidade versus qualidade.
• A quantização pós-treinamento de 1 bit é amplamente vista como inviável; alguns dizem que só faz sentido se o modelo for treinado dessa forma (QAT) com enormes quantidades de dados.
• Quantização do KV cache: vários relatos apontam que o Qwen3.8-27B tolera KV até q4 (e até NVFP4) com pouca degradação, permitindo contextos de mais de 200k em GPUs de ponta.

Modo “thinking”, tokens e confiabilidade

• Uma teoria: quantizações de menor bit mudam principalmente a distribuição de tokens; o Qwen compensa “pensando” por mais tempo, terminando com sucesso semelhante nas tarefas, mas com mais tokens/tempo.
• Outros veem o modo thinking às vezes prejudicando o desempenho (por exemplo, ficando preso em longas cadeias de raciocínio ou nunca terminando) e observam que níveis mais altos de “thinking” podem extrapolar o contexto.

Trocas entre local e nuvem

• Alguns argumentam que o Qwen3.8-27B local (4 bits/3 bits) agora é genuinamente útil, às vezes rivalizando ou superando certos modelos proprietários em benchmarks e detecção de bugs.
• Outros dizem que os modelos de ponta na nuvem continuam claramente superiores para programação complexa e nuançada, e que o uso local é limitado pelo custo de hardware e pela latência.

Metodologia de avaliação e estatísticas

• Há um debate substancial sobre intervalos de confiança: críticas ao uso de CIs de Wilson para sugerir estabilidade entre execuções; argumentos sobre interpretações frequentistas versus bayesianas.
• Sugestão de que intervalos de previsão, execuções repetidas e box plots capturariam melhor a variabilidade.
• Observa-se que a divergência KL é sensível à escolha do conjunto de dados; usar a Wikipedia pode subestimar o impacto da quantização em tarefas agentivas/de programação. Alguns propõem calcular KL em traces gerados pelo modelo em precisão total, ou simplesmente depender mais de benchmarks de ponta a ponta.

Qualidade de escrita e conteúdo gerado por LLM

• Discussão sobre como julgar artigos possivelmente escritos com ajuda de LLM: o consenso tende a avaliar clareza, concisão e precisão, não o uso da ferramenta.
• Vários comentam que a prosa gerada por LLM parece “suave, mas vazia” e é mais difícil de lembrar, possivelmente devido a um estilo de baixa entropia e à transmissão em formato de chat.

Segurança operacional

• Executar modelos localmente em bare metal é considerado seguro; o risco vem do “harness” ao redor executando a saída do modelo.
• Recomendação: se houver preocupação, isole o harness (por exemplo, em um contêiner/VM) em vez dos pesos brutos do modelo.