DSpark: la decodificación especulativa acelera la inferencia de LLM [pdf]
DSpark y la decodificación especulativa
- DSpark se presenta como el nuevo sistema de decodificación especulativa de DeepSeek, que acelera la inferencia de LLM al mejorar los modelos redactores y las políticas de verificación, reduciendo el trabajo de verificación desperdiciado a escala.
- Ya ha reemplazado una configuración previa de predicción multietiqueta (“MTP-1”) en producción para DeepSeek-V4-Flash y V4-Pro, y se le atribuyen grandes mejoras reales de rendimiento.
- Los comentaristas señalan que se basa en trabajos anteriores sobre decodificación especulativa (por ejemplo, artículos de 2022) y que elimina cuellos de botella previos en lugar de inventar el concepto.
Rendimiento, precios y despliegue
- Se cita DSpark, junto con técnicas como Lookahead Sparse Attention, como una de las razones clave por las que DeepSeek recortó drásticamente los precios (afirmaciones en torno a reducciones de ~75% y de ser “100x más barato” que algunos competidores en la práctica).
- Los usuarios informan de volúmenes altos de tokens a un coste muy bajo, especialmente cuando se combina con caché y proveedores más baratos o el uso directo de la API de DeepSeek en lugar de agregadores como OpenRouter.
- Ya están disponibles en Hugging Face pesos para variantes “-DSpark” de V4-Flash y V4-Pro; el módulo especulativo está integrado.
- Algunos quieren benchmarks en GPUs de consumo; otros señalan que la optimización reduce sobre todo la presión sobre el ancho de banda de memoria, por lo que debería ayudar en general.
Ecosistema y modelos abiertos
- Muchos ven DSpark como parte de un patrón más amplio: laboratorios chinos publicando pesos abiertos, artículos detallados e infraestructura (por ejemplo, canalizaciones de entrenamiento) que otros pueden reutilizar para varios modelos (Qwen, etc.).
- Hay optimismo de que proliferarán pequeños modelos redactores especulativos especializados para distintos casos de uso, y de que estas técnicas mercantilizarán las mejoras de rendimiento entre proveedores.
Laboratorios de EE. UU. vs China, apertura y modelos de financiación
- Varios contraponen la apertura de DeepSeek y la optimización a nivel de software (hasta PTX) con el secretismo percibido de los laboratorios estadounidenses, el enfoque en la regulación o la dependencia de centros de datos cada vez mayores y hardware Nvidia de gama alta.
- Otros replican que los laboratorios estadounidenses casi con certeza usan optimizaciones de bajo nivel similares, pero las mantienen en privado; la falta de publicación no implica falta de innovación.
- Los laboratorios chinos se describen de diversas formas: poniéndose al día mediante ingeniería “scrappy”, siendo estructuralmente más colaborativos, alentados por el Estado a mercantilizar los LLM y/o financiados con menos presión de ingresos a corto plazo.
Ética, propiedad intelectual e implicaciones empresariales
- Hay un fuerte desacuerdo sobre los “ataques de destilación”: algunos lo llaman robo y “comportamiento empresarial chino clásico”; otros dicen que pagar por tokens significa que puedes usar las salidas como quieras, y señalan que los propios laboratorios estadounidenses entrenaron con datos sin licencia.
- Los comentaristas sostienen que, si tu foso es “no destiles mis salidas”, no tienes foso.
- Varios piensan que los modelos abiertos, baratos y “suficientemente buenos” junto con optimizaciones como DSpark presionarán los márgenes, amenazarán las narrativas de salida a bolsa de los laboratorios de frontera y acelerarán la mercantilización de las API genéricas de LLM.