Por que os custos atuais de LLM não são sustentáveis

Estrutura de custos e sustentabilidade

• Muitos argumentam que a economia atual dos LLMs de fronteira é frágil: os laboratórios perdem dezenas de bilhões enquanto cobram taxas por token que também precisam cobrir treinamento, infraestrutura, equipe e marketing.
• A inferência em si talvez já seja lucrativa, mas os negócios no conjunto não são; há discordância sobre se isso significa que as assinaturas são “fortemente subsidiadas” ou se os tokens de API corporativos simplesmente têm margens grandes.
• Alguns acham que as avaliações presumem progresso e demanda suavemente contínuos até 2030 de forma irrealista; outros observam que a receita de inferência já excede o custo de inferência para pelo menos um grande laboratório.

Assinaturas, tokens e padrões de uso

• Há várias anedotas de uso mensal individual equivalente a API na casa de milhares de dólares, impulsionado por agentes vasculhando grandes bases de código, loops longos e contextos enormes com baixa utilização de cache.
• Outros dizem que não conseguem atingir os limites da assinatura mesmo com uso profissional diário, sugerindo que o uso excessivo muitas vezes é uma questão de orquestração/“skill issue” e não de necessidade.
• Há forte consenso de que as pessoas usam em excesso os modelos de topo para tarefas triviais porque as assinaturas escondem o custo real.

Nuvem vs local e o futuro da hospedagem

• Há opiniões divididas: algumas grandes empresas insistem em executar modelos em seus próprios datacenters por segurança; outras se sentem confortáveis terceirizando para hyperscalers e os veem como os vencedores de fato.
• Muitos esperam um ecossistema que espelhe a hospedagem web: provedores de GPU bare-metal e “plataformas de LLM” de nível mais alto, com laboratórios de fronteira competindo em qualidade e integrações em vez de hospedagem bruta.
• Outros preveem que a maior parte da IA ficará local/no dispositivo até cerca de 2030, corroendo o negócio de grandes modelos de fronteira hospedados, exceto para uso de nicho e alta demanda.

Modelos abertos e geopolítica

• Modelos chineses de pesos abertos (DeepSeek, GLM, Qwen) são amplamente vistos como dramaticamente mais baratos e “bons o suficiente” para muitas cargas de trabalho; alguns sugerem que o gasto global poderia cair 10× ao migrar.
• Contraponto: preocupações sobre depender de uma “superpotência hostil” e possíveis sanções dos EUA que poderiam forçar provedores dos EUA e aliados a abandonar esses modelos, empurrando os usuários de volta para laboratórios domésticos.

Hardware, otimização e direção futura

• Estimativas de custo de improviso para auto-hospedar grandes modelos em 8×B200 mais energia solar dedicada sugerem custos por token não triviais mesmo em escala.
• Muitos acreditam que as maiores economias estão em melhor roteamento para modelos menores, agentes/harnesses aprimorados e especialização de hardware (por exemplo, “LLM-on-a-chip”), e não apenas em modelos de fronteira mais baratos.
• O debate continua sobre se as capacidades estão se estabilizando; alguns veem retornos decrescentes, outros dizem que lançamentos recentes e fluxos de trabalho agentic ainda mostram progresso rápido.