Muse Ember: Nosso modelo menor e mais eficiente
O novo modelo Muse Ember da Meta é apresentado como seu LLM menor e mais eficiente, competindo diretamente com Luna/Haiku da OpenAI e variantes flash da DeepSeek em termos de custo por tarefa, especialmente em workloads de agentes, jurídicas e financeiras. Comentadores destacam seus fortes scores em benchmarks, os flexíveis níveis de “esforço de raciocínio” e os menores custos de cache, mas questionam se ele superajusta as avaliações públicas e tem desempenho inferior em interações mais longas e reais. Muitos também criticam a falta de pesos abertos, o histórico de confiança e privacidade da Meta e a rotatividade acelerada de modelos proprietários, cada vez mais difícil de avaliar de forma significativa.
“Benchmark” SVG de Pelican e Níveis de Raciocínio
- Múltiplos SVGs de “pelican em uma bicicleta” em diferentes níveis de esforço de raciocínio mostram mudanças de estilo, mas nenhum ganho claro de qualidade com mais tokens.
- Alguns preferem o resultado “minimal” (10 tokens); outros observam que problemas anatômicos e erros de camadas persistem mesmo no esforço máximo.
- A discussão sugere que os modelos organizam elementos SVG por conceito (pássaro, bicicleta, fundo), o que prejudica a intercalação 3D correta (por exemplo, pernas vs. estrutura).
- As imagens de pelican são vistas como um benchmark pessoal e consistente, análogo a acompanhar o preço de um único produto para medir inflação.
Capacidades do Modelo, Benchmarks e Custos
- Muse Ember é apresentado como um “generalista” pequeno e muito eficiente em custo, frequentemente competitivo com ou melhor que Luna, Haiku, Grok e Terra em benchmarks agregados.
- Números detalhados da Vals e da Artificial Analysis mostram Ember particularmente forte e muito mais barato para tarefas de finanças e jurídicas, embora outro modelo o supere em alguns benchmarks de codificação/terminal.
- Alguns argumentam que benchmarks podem ser enganosos: modelos Muse podem parecer de fronteira no papel, mas parecer decepcionantes no uso real (especialmente em comparação com certos outros produtos).
Crouton Alpha e Modelos Stealth
- Há forte consenso de que o “Crouton Alpha” da OpenRouter era um Muse Ember inicial, com base na janela de contexto idêntica, opções de raciocínio e outros metadados.
- Usuários relatam que o Crouton foi bem em tarefas curtas, mas degradou muito ao longo de conversas mais longas.
Níveis de Esforço de Raciocínio e UX
- Seis níveis de raciocínio são vistos por alguns como um antipadrão: knobs demais para os usuários escolherem.
- Uma sugestão é um “modelo decisor” que escolhe o nível de esforço, embora outros duvidem que tais modelos consigam prever de forma confiável a complexidade da tarefa.
Pesos Abertos vs. Fechados e “Pequenez”
- Vários comentaristas lamentam que Ember não tenha pesos abertos, apesar de ser divulgado como o modelo “menor” da Meta.
- Surgem perguntas: se ele só roda no datacenter da Meta, por que a contagem de parâmetros ou a “pequenez” importa para os usuários?
- Spark Open é citado como a alternativa local, mas sua versão aberta aparentemente é fortemente ajustada para segurança e já não está na mesma classe de capacidade.
Papel da Meta, Ética e Adoção
- As opiniões se dividem: alguns dizem que a Meta era irrelevante, mas agora está alcançando Muse/Spark; outros veem o Muse ainda atrás dos principais concorrentes ou “benchmaxxed”.
- A desconfiança ética é forte em partes da discussão; alguns se recusam a enviar dados para a nuvem da Meta independentemente da qualidade, preferindo modelos locais ou não americanos/não chineses.
Fadiga com Atualizações de Modelo e Práticas de Avaliação
- Vários participantes se sentem esgotados com lançamentos constantes de novos modelos e trocas sutis de preço/qualidade.
- Outros argumentam que, se um modelo atual é suficiente, não há necessidade de correr atrás de toda atualização — benchmarks e suítes de avaliação personalizadas devem orientar a adoção seletiva.