Preço por 1 milhão de tokens é irrelevante
Limites de “preço por 1 milhão de tokens”
- Muitos veem o preço por token como enganoso por si só: os modelos diferem em verbosidade, configurações de “pensamento”/esforço necessárias, uso de ferramentas e comportamento de cache, tudo isso alterando o custo real.
- As assinaturas distorcem ainda mais a precificação: planos mensais fixos podem dar descontos enormes em comparação com tokens sob demanda, mas os limites de uso costumam ser pouco transparentes.
- Outros argumentam que a precificação por token ainda é uma métrica-base útil, análoga ao preço do combustível ou ao salário por hora: incompleta, mas é preciso algum padrão comum.
Custo por tarefa e relevância de benchmarks
- Vários კომენტadores preferem “custo por tarefa de benchmark” ou “custo por prompt” como medidas melhores do custo no mundo real.
- Ressalva: os benchmarks precisam corresponder à sua carga de trabalho.
- Se suas tarefas forem mais difíceis que o benchmark, um modelo “barato por tarefa” que falha na sua tarefa é inútil.
- Se suas tarefas forem muito mais fáceis, você pode superestimar o quão caro é um modelo mais forte.
- Alguns sugerem encaminhar tarefas para modelos diferentes conforme a complexidade e usar um harness para abstrair a escolha do modelo.
Velocidade, UX e verbosidade
- Velocidade e latência importam tanto quanto o custo bruto em tokens, especialmente para tarefas interativas como geração de mensagens de commit.
- Modelos verbosos podem ser mais lentos e mais caros no total, mesmo tendo mais tokens por segundo ou menor preço por token.
- Para LLMs locais, a velocidade de processamento do prompt pode dominar em fluxos de trabalho multi-turno/agênticos.
Cache, uso de ferramentas e orquestradores
- O cache pode reduzir dramaticamente os custos efetivos (há relatos de cerca de 0,1x ou taxas de acerto de cache muito altas), mas a eficiência varia muito por provedor.
- Chamadas de ferramentas e frameworks agênticos frequentemente reenviam contextos grandes, multiplicando o uso de tokens; um gerenciamento ruim de contexto pode inflar os custos.
- Alguns descrevem orquestradores no estilo Kanban e pipelines de agentes em que modelos menores/mais baratos fazem a maioria das tarefas de execução, com modelos maiores apenas para planejamento.
Modelos abertos vs modelos de fronteira e escolhas de implantação
- Há discordância sobre se modelos abertos são “bons o suficiente” para fluxos de trabalho agênticos ponta a ponta; alguns afirmam que modelos de fronteira são essenciais, outros relatam bons resultados com modelos abertos por uma fração do custo.
- O debate entre fazer internamente ou usar a nuvem: um grupo defende comprar GPUs e otimizar localmente para explorar casos de uso com custo previsível; outro observa que muitos não têm hardware/competências e dependem de modelos hospedados com pesos abertos.
Ceticismo mais amplo e preocupações com “bolha de IA”
- Alguns enfatizam que LLMs são apenas preditores de texto e que o valor real vem do harness e do design do fluxo de trabalho, não do modelo bruto.
- Há preocupação com a superotimização de métricas manipuláveis e a crença de que eficiência (custo por tarefa, tarefas por kWh) será o que mais importará se/quando uma bolha de IA esvaziar.