Cerebras CS-4
El nuevo sistema CS‑4 de Cerebras, a escala de oblea, afirma ofrecer hasta 30× más velocidad que las GPUs en inferencia de modelos grandes de lenguaje y más de 1,000 tokens por segundo en modelos supuestamente superiores a 10 billones de parámetros, lo que ha provocado especulaciones sobre la rapidez con la que el hardware específico para IA superará a los centros de datos actuales centrados en GPUs. Los comentaristas debaten si esta aceleración convierte las construcciones hyperscale actuales en una burbuja, cómo afecta al dominio y a los márgenes de Nvidia, y qué implica para el tamaño de los modelos, la eficiencia y la demanda de computación a largo plazo. Otros señalan la falta de detalles sobre coste y consumo eléctrico, el enfoque del producto en empresas más que en usuarios finales, y la probabilidad de que las empresas de IA de frontera necesiten ventajas de silicio propio para seguir siendo competitivas.
Progreso del hardware y economía de los centros de datos de IA
- Muchos esperan una mejora de varios órdenes de magnitud en el hardware específico para LLM en ~5 años, tanto en velocidad como en coste.
- Algunos sostienen que la actual construcción de centros de datos de IA es una burbuja, ya que estamos en la “generación 1” de hardware especializado y la eficiencia futura podría volver obsoletas las instalaciones de hoy.
- Otros responden que la demanda de computación parece efectivamente ilimitada, citando analogías con los transistores y la electricidad y sugiriendo efectos tipo Jevons (computación más barata → más uso).
Capacidades y arquitectura de Cerebras CS-4
- Afirmación principal: >1,000 tokens/s en modelos que superan los 10T parámetros, ~10x más rendimiento por vatio que CS-3, y “hasta 30x más rápido que GPUs” para inferencia.
- Usa tres chips WSE-3 “Turbo” a escala de oblea (todavía en 5nm), cada uno con ~44GB de SRAM en chip y un enorme ancho de banda en chip; la E/S externa es mucho más lenta.
- Algunos señalan que CS-4 parece beneficiarse menos del batching que las GPUs, lo que sugiere compromisos arquitectónicos.
Consumo eléctrico, refrigeración y despliegue
- El consumo es de ~162 kW por rack; se requiere refrigeración líquida obligatoria con alto caudal de agua.
- No es práctico para laboratorios domésticos y plantea retos para los centros de datos tradicionales refrigerados por aire; implica instalaciones especializadas y una infraestructura eléctrica sólida.
Competencia con GPUs y Nvidia
- Varios esperan que Cerebras y ASICs similares dominen la inferencia a largo plazo, mientras que las GPUs seguirán siendo las más fuertes para entrenamiento.
- Otros creen que las ventajas de Nvidia en la cadena de suministro, la integración vertical (redes, software) y CUDA siguen siendo un foso defensivo duradero.
- Debate sobre si los altos márgenes de Nvidia invitan a una competencia sostenible o si los aceleradores internos de los hyperscalers acabarán erosionando la dependencia.
Escala de modelos, eficiencia y benchmarks
- Se comenta que muchos modelos frontera están ahora en el rango de varios billones de parámetros (5–10T+), aunque los tamaños exactos siguen siendo opacos.
- Al mismo tiempo, los modelos abiertos más pequeños (de decenas a cientos de miles de millones, y por debajo de 1T) están mejorando rápidamente, a veces acercándose a modelos cerrados más grandes en benchmarks populares, lo que sugiere rendimientos decrecientes solo por el conteo de parámetros.
Demanda, casos de uso y negocio/precios
- Se especula que una inferencia ultrabarata podría habilitar agentes ubicuos y cargas de trabajo de simulación masivas, impulsando continuamente la demanda.
- El hardware de Cerebras se ve como extremadamente rápido pero escaso y muy caro (probablemente de 7 a 8+ cifras por rack), por lo que es principalmente una apuesta empresarial/B2B.
- Algunos critican métricas vagas de comparación con GPUs y la falta de transparencia total sobre potencia/precio, y señalan que la API pública de Cerebras usa modelos desactualizados y una facturación/caché poco habituales, lo que refuerza el enfoque en ventas de hardware sobre servicios orientados a desarrolladores.