Cerebras CS-4
O novo sistema wafer-scale CS-4 da Cerebras afirma oferecer até 30× mais velocidade de inferência de grandes modelos de linguagem do que GPUs e mais de 1.000 tokens por segundo em modelos supostamente com mais de 10 trilhões de parâmetros, o que levou a especulações sobre a rapidez com que hardware específico para IA pode superar os data centers centrados em GPUs de hoje. Os comentaristas avaliam se esse tipo de aceleração torna a atual expansão hyperscale uma bolha, como isso afeta o domínio e as margens da Nvidia e o que isso implica para o tamanho dos modelos, a eficiência e a demanda de longo prazo por computação. Outros apontam a falta de detalhes sobre custo e consumo de energia, o foco do produto em empresas em vez de acesso ao consumidor e a probabilidade de que as empresas de IA de fronteira precisem de vantagens próprias em silício para permanecer competitivas.
Progresso de hardware e economia de data centers de IA
- Muitos esperam vários ordens de grandeza de melhoria em hardware específico para LLM em ~5 anos, tanto em velocidade quanto em custo.
- Alguns argumentam que a atual expansão de construção de data centers de IA é uma bolha, já que estamos na “geração 1” de hardware especializado e a eficiência futura poderia tornar as instalações de hoje obsoletas.
- Outros contrapõem que a demanda por computação parece efetivamente ilimitada, citando analogias com transistores e eletricidade e sugerindo efeitos à la Jevons (computação mais barata → mais uso).
Capacidades e arquitetura do Cerebras CS-4
- A alegação principal: >1.000 tokens/s em modelos com mais de 10T parâmetros, ~10x mais throughput por watt do que o CS-3, e “até 30x mais rápido do que GPUs” para inferência.
- Usa três chips wafer-scale WSE-3 “Turbo” (ainda em 5nm), cada um com ~44GB de SRAM on-chip e enorme largura de banda on-chip; a E/S externa é muito mais lenta.
- Alguns observam que o CS-4 parece se beneficiar menos de batching do que GPUs, sugerindo trade-offs de arquitetura.
Energia, resfriamento e implantação
- O consumo de energia é de ~162 kW por rack; é necessário resfriamento líquido obrigatório com alto fluxo de água.
- Não é prático para laboratórios domésticos e desafia data centers tradicionais resfriados a ar; isso implica instalações especializadas e uma infraestrutura elétrica robusta.
Concorrência com GPUs e Nvidia
- Vários esperam que Cerebras e outros ASICs semelhantes dominem a inferência no longo prazo, com GPUs permanecendo mais fortes para treinamento.
- Outros acham que as vantagens da Nvidia na cadeia de suprimentos, integração vertical (rede, software) e CUDA continuam sendo um fosso defensável.
- Debate sobre se as altas margens da Nvidia convidam concorrência sustentável ou se aceleradores internos dos hyperscalers acabarão corroendo a dependência.
Escala dos modelos, eficiência e benchmarks
- Discussão de que muitos modelos de fronteira agora estão na faixa de vários trilhões de parâmetros (5–10T+), embora os tamanhos exatos continuem opacos.
- Ao mesmo tempo, modelos abertos menores (de dezenas a centenas de bilhões, e abaixo de 1T) estão melhorando rapidamente, às vezes se aproximando de modelos fechados maiores em benchmarks populares, sugerindo retornos decrescentes apenas pelo aumento de parâmetros.
Demanda, casos de uso e negócios/preços
- Especulação de que inferência ultrabarata poderia viabilizar agentes onipresentes e cargas massivas de simulação, impulsionando continuamente a demanda.
- O hardware da Cerebras é visto como extremamente rápido, mas escasso e muito caro (provavelmente 7–8+ dígitos por rack), então é principalmente uma aposta enterprise/B2B.
- Alguns criticam métricas vagas de comparação com GPUs e a falta de transparência total sobre energia/preço, e observam que a API pública da Cerebras usa modelos desatualizados e billing/caching incomuns, reforçando o foco em vendas de hardware em vez de serviços voltados a desenvolvedores.