OpenAI revela seu primeiro chip personalizado, construído pela Broadcom

Artigo original ↗ Discussão no Hacker News ↗

A OpenAI anunciou “Jalapeño”, seu primeiro chip personalizado de IA para inferência, co-projetado com a Broadcom e fabricado pela TSMC, com a meta de oferecer desempenho por watt substancialmente melhor e custos cerca de 50% menores do que implantações típicas baseadas em GPU. Comentadores veem isso como parte de uma mudança mais ampla em que grandes laboratórios de IA e provedores de nuvem constroem seus próprios aceleradores para escapar dos preços e das restrições de energia da Nvidia, embora muitos apontem a falta de especificações concretas e questionem o quanto é IP da Broadcom versus verdadeira inovação de hardware da OpenAI. A discussão também aborda design de chips assistido por IA, os impactos em concorrentes como Cerebras e nas iniciativas de TPU do Google, e se hardware altamente especializado — incluindo modelos literalmente “assados” no silício — consegue compensar antes que a próxima geração de modelos chegue.

Propósito e posicionamento do chip

  • Jalapeño é apresentado como um acelerador apenas para inferência, não para treinamento.
  • O objetivo é um desempenho por watt substancialmente melhor e custo ~50% menor em relação às GPUs de IA “típicas”, com a primeira implantação prevista para o fim de 2026.
  • Muitos comentaristas observam que a inferência agora domina o gasto total; otimizar os custos contínuos por token é visto como mais estratégico do que a velocidade de treinamento.

Broadcom, TSMC e estrutura da indústria

  • Os chips são fabricados na TSMC e co-projetados com a Broadcom, que já faz parceria com o Google em TPUs e com outros hyperscalers em ASICs personalizados.
  • A Broadcom é descrita como uma gigante em IP de ASIC e interconexão, com fortes acordos de alocação em foundries e fornecedores de memória.
  • Alguns alertam a OpenAI de que a Broadcom é uma operadora agressiva e pouco amigável ao cliente (citando experiências com VMware/CA/Symantec).

Impacto na Nvidia e em outros aceleradores

  • Muitos veem isso como parte de uma mudança mais ampla: TPUs do Google, Trainium da Amazon/Anthropic, Maia da Microsoft, ASICs da Meta/Broadcom.
  • O consenso: a Nvidia provavelmente continua dominante para treinamento de uso geral, mas perde participação na inferência em hyperscalers.
  • Há debate sobre o quanto isso ameaça a Cerebras: alguns acham que o chip próprio da OpenAI vai tirar espaço dela; outros observam que a Cerebras mira nichos/treinamento e já tem uma parceria com a OpenAI.

Debates técnicos

  • Forte foco na largura de banda de memória e na arquitetura: SoCs unificados (Apple), LPDDR vs HBM e trade-offs entre latência de prefill e largura de banda bruta.
  • Esclarecimento de que a foto da divulgação mostra um wafer com 50–60 dies, não um wafer-scale engine como o da Cerebras.
  • Discussão lateral estendida sobre “assar os pesos no silício” (por exemplo, Taalas): enorme potencial de velocidade/eficiência, mas inflexível e limitado por KV-cache; visto como melhor para modelos menores e estáveis ou para uso em edge/robótica.

Alegação de design de chip assistido por IA

  • A linguagem do press release diz que os modelos da OpenAI “aceleraram” o design e a otimização.
  • Alguns acham que isso só significa que engenheiros usaram LLMs para HDL, testbenches, scripts, e-mail etc.
  • Outros observam a contratação de pessoas para IA aplicada ao design de chips, mas vários continuam céticos de que nove meses sejam suficientes para um chip de 3nm desenhado do zero por IA.

Estratégia de negócios, risco e fossos competitivos

  • Visto como necessário para reduzir os enormes custos de inferência da OpenAI e a dependência da Nvidia, além de justificar um futuro IPO.
  • Ceticismo em relação a métricas vagas (“substancialmente melhor”, “GPUs típicas”) e à falta de especificações concretas.
  • Alguns argumentam que o verdadeiro fosso da Nvidia é o software; para uma única família de modelos interna, isso importa menos.
  • Foram levantadas preocupações sobre a concentração de hardware ultrarrápido e personalizado dentro de poucos laboratórios, deixando empresas menores limitadas a APIs mais lentas e tarifadas por uso.

Reações culturais e variadas

  • O nome “Jalapeño” provoca reações mistas (vergonha alheia, clichê regional ou apenas mais um codinome arbitrário).
  • Alguns culpam compras massivas de RAM e chips personalizados pelos altos preços de memória.
  • Alguns veem isso como inevitável — “se você se importa com software, construa hardware” —; outros como expansão de escopo e hype pré-IPO.