Melhor LLM para cada orçamento, atualizado diariamente

Artigo original ↗ Discussão no Hacker News ↗

Uma ferramenta web que compara os “melhores” modelos de linguagem grandes por custo está atraindo interesse, mas também críticas por dados desatualizados e pelo uso de métricas simples de custo por milhão de tokens. Os comentaristas argumentam que o custo por tarefa concluída, os limites de assinatura e o preço de cache importam muito mais na prática, e muitos apontam para a Artificial Analysis ou para seus próprios benchmarks ao escolher modelos. O debate também destaca uma divisão crescente entre usuários que dependem de acesso barato via API a modelos chineses ou de médio porte como DeepSeek e Qwen, e aqueles que investem em hardware local para executar modelos abertos, tentando equilibrar capacidade, latência, privacidade e custo real.

Reação geral ao site

  • As pessoas apreciam uma forma limpa e visual de comparar modelos, mas muitos acham os dados desatualizados ou enganosos.
  • As abas de coding e math ficam atrás dos lançamentos atuais (por exemplo, ainda mostram GPT‑5.2 como fronteira em matemática, e faltam ou estão parcialmente ausentes Opus 5.5 e modelos DeepSeek mais novos).
  • Vários dizem que parece um wrapper fino sobre Artificial Analysis (AA), com menos funcionalidades e menos nuance.

Crítica às métricas de custo

  • A principal reclamação: custo por 1M de tokens é “ingênuo”.
  • Os usuários argumentam que o que importa é:
    • Custo por tarefa, não por token.
    • Quantos tokens um modelo precisa para atingir um certo nível de qualidade (verbosidade, comprimento de “thinking”).
    • Preço de cache, que pode dominar os custos em coding e fluxos de trabalho agentic.
  • Os gráficos de “custo por tarefa” e de uso de tokens da AA são frequentemente citados como superiores; alguns observam diferenças impressionantes (por exemplo, certos modelos de fronteira usando 4–5x mais tokens por tarefa do que os pares).

Assinaturas vs APIs por token

  • Muitas pessoas pagam do próprio bolso:
    • Algumas gastam apenas alguns dólares/mês via DeepSeek/OpenRouter e acham mais barato do que assinaturas.
    • Outras queimam rapidamente assinaturas de US$100–US$200/mês e depois voltam para APIs baratas.
  • Tradeoff:
    • Assinaturas costumam ter valor unitário muito melhor, mas têm limites de taxa opacos ou em rajadas.
    • APIs custam mais por token, mas oferecem confiabilidade, automação e flexibilidade entre fornecedores.
  • As pessoas querem ferramentas que considerem quotas de assinatura e ajudem a otimizar a “eficiência do limite de uso”.

Modelos locais vs na nuvem

  • Alguns preferem fortemente modelos locais e não entendem “jogar dinheiro fora” em SaaS.
  • Outros respondem que:
    • Modelos de alto nível (Astra/Fable/Opus) não são viáveis localmente.
    • Hardware mais eletricidade podem tornar a inferência local comparável ou mais cara do que modelos de nuvem muito baratos como o DeepSeek Flash.
  • Vários usuários compartilham configurações locais concretas (Macs com 32–128GB de RAM; GPUs rodando Qwen/Gemma/Bonsai), usando-as para coding em background, planejamento e tarefas de “chore”.

Benchmarks, nuance e funcionalidades desejadas

  • Ceticismo em relação a qualquer ranking de número único; barras de erro e agregação tornam os resultados ruidosos.
  • Pedidos por:
    • Métricas multi-eixo (verbosidade, persistência, “thinking ahead”, comportamento em loop).
    • Suites de avaliação específicas por tarefa e por usuário.
    • Ferramentas que incorporem hardware, VRAM, local vs nuvem e deals de pacote reais.
  • Alguns ainda acham a apresentação deste site mais acionável imediatamente do que a da AA, mesmo que a metodologia subjacente seja mais fraca.