DeepInfer: Framework de inferencia de alto rendimiento para modelos DeepSeek

Artículo original ↗ Discusión en Hacker News ↗

DeepSeek, de China, ha liberado como código abierto un framework de inferencia de alto rendimiento para su LLM V4.1 Flash, revelando que un solo clúster puede servir 155 billones de tokens al día y generar alrededor de 38 USD de ingresos por hora de GPU a precio fuera de pico. Los comentaristas ven esto como una prueba sólida de que la inferencia de LLM puede ser muy rentable y cada vez más una mercancía, especialmente cuando se combina con electricidad china barata y NPUs de Huawei, pero cuestionan si esos márgenes pueden sobrevivir a la competencia intensa, la caída de precios y los costes continuos de entrenamiento. Muchos argumentan que estas herramientas abiertas erosionan los fosos competitivos de los laboratorios de frontera de EE. UU., fortalecen los modelos de pesos abiertos y autoalojados, y pueden desplazar el poder de la IA hacia los dueños de infraestructura y los proveedores de hardware más que hacia los proveedores de modelos por sí solos.

Lanzamiento de DeepInfer y qué es

  • DeepSeek ha liberado como código abierto “DeepInfer”, un framework de inferencia de alto rendimiento optimizado para su modelo V4.1 Flash y para las NPU NVIDIA SM100 y Huawei Ascend 950.
  • Está construido sobre ideas de vLLM / SGLang, pero añade optimizaciones propias de DeepSeek; algunas piezas críticas para producción (sistema de caché KV, balanceo de carga completo, desagregación VE/prefill/decode) aún no están incluidas.
  • Varios comentaristas esperan que sus técnicas se integren aguas arriba en motores OSS comunes, beneficiando a todo el ecosistema, incluidos los laboratorios de EE. UU.

Economía de la inferencia y rentabilidad

  • DeepSeek afirma unos ingresos de ~38 USD/hora por tarjeta a precio fuera de pico; un clúster supuestamente maneja ~155T tokens/día.
  • Muchos sostienen que esto muestra que la inferencia en sí misma es muy rentable y que las GPU pueden amortizarse en menos de un año, especialmente con alta utilización y electricidad china barata.
  • Otros responden que la “rentabilidad de la inferencia” es engañosa si no se incluyen los enormes costes de entrenamiento, I+D y deuda; las cuentas de resultados globales del laboratorio aún podrían ser negativas.
  • Debate sobre los márgenes a largo plazo: algunos ven una inevitable carrera hacia márgenes de mercancía al mínimo; otros creen que la “inteligencia de lujo” de frontera mantendrá precios altos.

Comoditización, fosos competitivos y competencia

  • La postura fuerte es que la inferencia genérica de LLM es una mercancía indiferenciada: muchos proveedores, compradores sensibles al precio, bajos costes de cambio, pesos abiertos.
  • Eso amenaza las narrativas de billones de dólares de los laboratorios de frontera de EE. UU.; sus únicos fosos podrían ser la marca, la distribución, los datos propietarios o la captura regulatoria.
  • Visión contraria: la calidad de frontera sigue importando; muchas empresas pagarán primas por modelos de primera clase y proveedores conformes y “de confianza”.

China vs EE. UU., hardware y regulación

  • La apertura de DeepSeek se ve tanto como guerra económica (rebajando a los laboratorios de EE. UU.) como una forma de sortear los controles de exportación de GPU al hacer que centros de datos occidentales alojen pesos abiertos chinos.
  • El soporte para Huawei Ascend es notable; algunos lo ven como marketing y un desafío al dominio de NVIDIA, especialmente dada la electricidad barata de China y su gran expansión energética.
  • Una nueva orden del DHS de EE. UU. prohíbe los productos de DeepSeek en sistemas civiles federales (y algunas implementaciones de terceros), visto como el comienzo de una desacoplación formal.
  • El contexto europeo es mixto: preocupación por el control tanto de EE. UU. como de China, pero fuerte interés en modelos autoalojados y de pesos abiertos por motivos de soberanía y GDPR.

Notas técnicas e impacto práctico

  • La estrategia de caché KV de DeepSeek (retención ≥72 horas, huella por token muy compacta) se considera una gran mejora de eficiencia; la implementación real aún no está completamente abierta.
  • Muchos esperan que los proveedores de inferencia más pequeños adopten DeepInfer para reducir la brecha de rendimiento con la API propia de DeepSeek, empujando a la baja los precios por token.
  • Algunos desarrolladores siguen prefiriendo las suscripciones de grandes laboratorios (coste mensual fijo, mayor calidad) frente a la API de DeepSeek de pago por token, a pesar de su bajo precio unitario.