Tokens baratos demais para serem medidos
Alegações de que os “tokens” de IA em breve serão tão baratos que praticamente não precisarão ser medidos provocam um debate acalorado sobre quão rápido os custos de inferência podem realmente cair e se restrições de hardware e energia vão desacelerar essa trajetória. Os comentaristas ponderam a possibilidade de modelos de nível de fronteira rodarem localmente em dispositivos de consumo contra preocupações com a oferta de RAM e GPUs, o excesso de construção de data centers e o impacto ambiental. Muitos concordam que a inferência tende a se tornar um serviço de baixa margem, mas questionam se os enormes investimentos de capital atuais em modelos e infraestrutura podem algum dia ser justificados por lucros futuros.
Hardware, LLMs Locais e Memória
- Debate sobre se modelos de qualidade de fronteira vão rodar localmente em hardware comum dentro de 3–6 anos.
- Alguns argumentam que tendências históricas em computação/RAM por dólar ainda são aproximadamente exponenciais e que os preços “despencam” em ciclos em zigue-zague quando a capacidade excede a demanda.
- Outros observam restrições atuais de oferta, expansão lenta de fábricas e duvidam da normalização dos preços de RAM/GPU antes de 2030.
- Vários veem ASICs e a destilação de modelos (além de técnicas como quantização, MoE, speculative decoding) como chave para tornar viável a inferência local e barata.
Data Centers, Demanda e Possível Bolha
- Um grupo vê a construção atual de data centers como uma bolha: ganhos de eficiência e melhorias nos modelos podem superar a demanda, deixando capacidade ociosa.
- Outros invocam o paradoxo de Jevons e uma demanda quase infinita por “inteligência”, argumentando que tokens mais baratos vão gerar mais uso, não menos.
- Alguns enfatizam que Jevons não é uma lei; sobreconstruções em outras indústrias mostram que a oferta pode superar a demanda economicamente relevante.
Economia, Lucratividade e Modelos de Negócio
- Forte discordância sobre se a inferência já é uma “vaca leiteira”.
- Críticos apontam que laboratórios estão profundamente negativos em fluxo de caixa livre, dependem de EBITDA ajustado e enfrentam capex implacável para permanecerem SOTA.
- Há preocupação de que os preços atuais sejam subsidiados e não reflitam os custos totais (treinamento, hardware, dívida).
- Outros contrapõem que provedores de apenas inferência em modelos de pesos abertos parecem lucrativos e que alugar computação/inferência vai se acomodar em um negócio de baixa margem, semelhante à nuvem.
- Surge a pergunta: alguma empresa conseguirá recuperar investimentos em escala trilionária, ou entrantes posteriores e mais enxutos capturarão os lucros da inferência como commodity?
Custos de Tokens vs Ferramentas (grep, compiladores, etc.)
- O fio contesta a alegação do artigo de que chamadas a LLM logo serão mais baratas do que ferramentas simples como
grep. - Muitos veem uma diferença de custo de 4–5 ordens de magnitude como enorme e provavelmente persistente; o mais plausível é uma aproximação assintótica, não um cruzamento.
- Alguns argumentam que LLMs podem ser mais baratos para tarefas aproximadas, de nível mais alto, ou quando o custo de atenção/UX domina, mas ferramentas determinísticas básicas continuam mais baratas por operação.
Energia e Meio Ambiente
- Preocupação de que computação de IA em larga escala possa ser ambientalmente “ruim a desastrosa”.
- Outros respondem que existe forte pressão econômica para reduzir energia por token; ASICs, destilação e incorporação de modelos em dispositivos podem reduzir drasticamente o consumo de energia.
Analogias Históricas e Hype
- Comparação frequente com as promessas nucleares de “too cheap to meter” e com a era da bolha dot-com: tecnologia útil, mas os gastos de capital e as avaliações atuais podem ser insustentáveis.
- Sentimento misto: otimismo quanto à ubiquidade de longo prazo da IA vs ceticismo sobre projeções de curto prazo, gráficos e ciclos de hype.