DSpark: la decodificación especulativa acelera la inferencia de LLM [pdf]

Artículo original ↗ Discusión en Hacker News ↗

El nuevo sistema DSpark de DeepSeek aplica decodificación especulativa a los modelos de lenguaje grandes, logrando importantes mejoras de velocidad y coste en la inferencia y ayudando a explicar cómo la empresa puede ofrecer modelos potentes tan baratos. Los comentaristas contrastan este trabajo de ingeniería publicado de forma abierta con los enfoques más cerrados de los laboratorios de frontera estadounidenses, argumentando que los equipos chinos están impulsando ahora muchas de las optimizaciones prácticas que mercantilizan las capacidades de los LLM. El hilo también explora cómo estos avances pueden erosionar los modelos de negocio y las perspectivas de salida a bolsa de las firmas de IA occidentales fuertemente capitalizadas, al tiempo que aceleran la difusión de modelos abiertos o de bajo coste de alta calidad.

DSpark y la decodificación especulativa

  • DSpark se presenta como el nuevo sistema de decodificación especulativa de DeepSeek, que acelera la inferencia de LLM al mejorar los modelos redactores y las políticas de verificación, reduciendo el trabajo de verificación desperdiciado a escala.
  • Ya ha reemplazado una configuración previa de predicción multietiqueta (“MTP-1”) en producción para DeepSeek-V4-Flash y V4-Pro, y se le atribuyen grandes mejoras reales de rendimiento.
  • Los comentaristas señalan que se basa en trabajos anteriores sobre decodificación especulativa (por ejemplo, artículos de 2022) y que elimina cuellos de botella previos en lugar de inventar el concepto.

Rendimiento, precios y despliegue

  • Se cita DSpark, junto con técnicas como Lookahead Sparse Attention, como una de las razones clave por las que DeepSeek recortó drásticamente los precios (afirmaciones en torno a reducciones de ~75% y de ser “100x más barato” que algunos competidores en la práctica).
  • Los usuarios informan de volúmenes altos de tokens a un coste muy bajo, especialmente cuando se combina con caché y proveedores más baratos o el uso directo de la API de DeepSeek en lugar de agregadores como OpenRouter.
  • Ya están disponibles en Hugging Face pesos para variantes “-DSpark” de V4-Flash y V4-Pro; el módulo especulativo está integrado.
  • Algunos quieren benchmarks en GPUs de consumo; otros señalan que la optimización reduce sobre todo la presión sobre el ancho de banda de memoria, por lo que debería ayudar en general.

Ecosistema y modelos abiertos

  • Muchos ven DSpark como parte de un patrón más amplio: laboratorios chinos publicando pesos abiertos, artículos detallados e infraestructura (por ejemplo, canalizaciones de entrenamiento) que otros pueden reutilizar para varios modelos (Qwen, etc.).
  • Hay optimismo de que proliferarán pequeños modelos redactores especulativos especializados para distintos casos de uso, y de que estas técnicas mercantilizarán las mejoras de rendimiento entre proveedores.

Laboratorios de EE. UU. vs China, apertura y modelos de financiación

  • Varios contraponen la apertura de DeepSeek y la optimización a nivel de software (hasta PTX) con el secretismo percibido de los laboratorios estadounidenses, el enfoque en la regulación o la dependencia de centros de datos cada vez mayores y hardware Nvidia de gama alta.
  • Otros replican que los laboratorios estadounidenses casi con certeza usan optimizaciones de bajo nivel similares, pero las mantienen en privado; la falta de publicación no implica falta de innovación.
  • Los laboratorios chinos se describen de diversas formas: poniéndose al día mediante ingeniería “scrappy”, siendo estructuralmente más colaborativos, alentados por el Estado a mercantilizar los LLM y/o financiados con menos presión de ingresos a corto plazo.

Ética, propiedad intelectual e implicaciones empresariales

  • Hay un fuerte desacuerdo sobre los “ataques de destilación”: algunos lo llaman robo y “comportamiento empresarial chino clásico”; otros dicen que pagar por tokens significa que puedes usar las salidas como quieras, y señalan que los propios laboratorios estadounidenses entrenaron con datos sin licencia.
  • Los comentaristas sostienen que, si tu foso es “no destiles mis salidas”, no tienes foso.
  • Varios piensan que los modelos abiertos, baratos y “suficientemente buenos” junto con optimizaciones como DSpark presionarán los márgenes, amenazarán las narrativas de salida a bolsa de los laboratorios de frontera y acelerarán la mercantilización de las API genéricas de LLM.