O desempenho por dólar está ficando mais rápido e mais barato

AMD vs. Nvidia: Desempenho, Consumo e Adoção

• Pedido por métricas explícitas de desempenho por watt; fora dos EUA, a eletricidade é relativamente cara e o fornecimento da Nvidia é limitado.
• A AMD MI355X é citada com ~1.400W vs. a Nvidia B200 com ~1.200W. Um comentarista diz que a AMD costuma ser 20–60% pior em tokens/s/watt, mas a MI355X tem ~50% mais memória, o que complica as comparações.
• Alguns veem a AMD como uma alternativa quando a Nvidia não consegue atender aos pedidos; outros argumentam que operadores em grande escala ainda fazem de tudo (empréstimos, financiamento por fornecedores) para obter Nvidia, em vez de mudar de ecossistema.
• Visões mistas sobre a trajetória da AMD: histórico de decepção, mas hoje há mais experimentação. A AMD já é amplamente usada em consoles e em servidores CPU EPYC.
• Foi levantada a questão de saber se a MI355X já é sequer alugável por hora; a disponibilidade não está clara.

Energia, Resfriamento e Impacto Local

• Exemplo: um DGX B200 (~14 kW) ao longo de 8 anos pode consumir ~1 GWh; em regiões de alto custo isso é relevante, mas ainda pequeno em comparação ao capex de hardware.
• A principal limitação muitas vezes é a capacidade da rede e a entrega de energia, não o preço da energia.
• O resfriamento adiciona ~10–20% de sobrecusto em algumas estimativas, mas racks de IA de alta densidade (30–50 kW) exigem resfriamento líquido avançado e levantam preocupações com ruído, peso e infraestrutura.
• Disputa sobre externalidades de datacenters: alguns dizem que elas são comparáveis às de outros grandes edifícios; outros destacam ruído, vibração, poluição e regulações fracas ou aplicadas de forma seletiva.
• Vários argumentam que as regulações deveriam visar os impactos (ruído, emissões, água etc.), e não “data centers” pelo nome.

Benchmarks, Throughput e Quantização

• Esclarecimento de que 2.600 tokens/s é o agregado do nó; em fluxo único é ~213 tok/s quando não saturado, mais perto de ~30 tok/s por fluxo em carga total. Há pedidos por métricas por usuário mais claras.
• Debate sobre gargalos de largura de banda de memória versus computação: inferência com lote alto costuma ser limitada por computação.
• Forte ceticismo em relação às alegações de FP4/MXFP4 “sem perdas”. Quedas de precisão reportadas de 2–4% são vistas como significativas e podem, subjetivamente, “lobotomizar” modelos.
• A MI355X pode executar FP6 na velocidade de FP4; alguns sugerem que MXFP6 poderia ser quase sem perdas e com desempenho próximo ao de FP4 se as cargas de trabalho forem limitadas por computação.
• Preocupação de que alguns provedores quantizem modelos já de baixa precisão ou usem quantização agressiva pós-treinamento principalmente para buscar economias do tipo Blackwell.

Economia e Preços

• Um provedor relata margens brutas de ~40%, com a utilização sendo o fator dominante.
• Apesar dos ganhos de hardware em perf/$, a percepção é de que tokens por dólar estão subindo devido à alta demanda, à oferta limitada de GPUs topo de linha e à disposição de pagar por modelos “mais inteligentes”; alguns suspeitam de aumentos futuros de preço após a subsidiação inicial.

Meta e Enquadramento

• Múltiplas críticas ao artigo/título: “performance per dollar is getting faster”, “2x cheaper” e a omissão do nível de quantização são vistos como imprecisos ou enganosos.
• Alguns contextualizam os ganhos atuais como parte de uma melhoria exponencial secular no desempenho de computação por dólar.