Executando o Kimi K3 no MI355X com melhor desempenho por dólar do que o B300
Um relatório de benchmark da Wafer.ai que afirma que o modelo Kimi K3 roda de forma mais econômica em GPUs MI355X da AMD do que em B300s da Nvidia recebe forte escrutínio por métodos pouco claros, configurações não replicáveis e preços de aluguel em nuvem escolhidos a dedo. Comentários argumentam que as tabelas de desempenho na verdade mostram os B300s vencendo em throughput bruto, questionam o realismo das tarifas horárias de GPU citadas e do custo total de propriedade, e veem o post mais como marketing do que engenharia rigorosa. Um grande debate paralelo gira em torno de se divulgar apenas os pesos do modelo qualifica como “open source”, destacando tensões ainda sem solução sobre como conceitos tradicionais de liberdade de software se aplicam aos modelos modernos de IA.
Preocupações com a qualidade do artigo e “AI slop”
- Vários comentaristas descrevem o post como “slop” ou escrito de forma preguiçosa, embora alguns observem que ele é mais legível do que o conteúdo típico gerado por IA.
- Uma pessoa usou um modelo avançado para criticar o artigo e achou que isso expôs falhas sérias; outros argumentam que, dado o prompt severo, qualquer artigo seria destrinchado.
- Reclamações específicas incluem edição ruim, seção de prefill pouco clara e design visual fraco (por exemplo, mau contraste entre texto e fundo).
Metodologia de benchmark e correção
- Vários comentaristas questionam se a configuração do Kimi K3 ainda é coerente após otimizações de baixo nível (por exemplo, padding da contagem de heads) e perguntam se foram executados benchmarks de correção.
- Um representante da Wafer afirma que benchmarks como tau/gpqa e testes de coerência/pensamento são necessários para hospedagem na OpenRouter.
- Alguns criticam o uso de um contexto de entrada curto de 1024 tokens por ser ultrapassado e pouco representativo.
- Outros destacam que os números do B200 são prejudicados por all-reduce entre nós via RoCE, com detalhes ausentes sobre interconexões melhores como Infiniband.
Desempenho por dólar e premissas de preço
- Muitos contestam os preços alegados de hora de GPU, especialmente o enquadramento de $2,50/h para MI355X versus $6/h para B300.
- Críticos dizem que o preço do MI355X foi selecionado a dedo de um agregador específico, pode não refletir capacidade real e confiavelmente disponível e ignora TCO de propriedade, energia e descontos.
- Alguns observam que preços spot/on-demand, escassez e descontos por compromisso tornam a maior parte do “discurso sobre preço de GPU” pouco confiável.
- Há ceticismo de que aluguéis de MI355X nessas taxas consigam cobrir o capex do hardware em vidas úteis realistas.
Posicionamento e reputação da Wafer
- Vários acusam o texto de ser, na prática, um anúncio da AMD/Wafer, com comparações exageradas ou injustas e benchmarks não reprodutíveis.
- Problemas passados, como um produto de assinatura por tokens rapidamente abandonado, são citados como evidência de comportamento movido por hype.
- Outros argumentam que, mesmo sendo promocional, otimizar a economia de inferência é socialmente importante dado o grande gasto com serving de LLMs.
Modelos “open source” vs “open weights”
- Longo debate sobre se divulgar apenas os pesos qualifica como “open source”.
- Um lado: os pesos são o “source” para modificar o modelo; licenças abertas sobre pesos + código satisfazem critérios semelhantes aos da liberdade de software.
- O outro lado: os dados de treinamento e o processo são o verdadeiro “source”; os pesos são análogos a binários, então “open weights” é o termo honesto.
- Alguns distinguem “open science” (reprodutibilidade total, incluindo dados e processo) de simplesmente open weights.