DSpark: decodificação especulativa acelera a inferência de LLM [pdf]

Artigo original ↗ Discussão no Hacker News ↗

O novo sistema DSpark da DeepSeek aplica decodificação especulativa a modelos de linguagem grandes, entregando grandes melhorias de velocidade e custo na inferência e ajudando a explicar como a empresa consegue oferecer modelos tão poderosos tão baratos. Comentadores contrapõem esse trabalho de engenharia publicado abertamente às abordagens mais fechadas dos laboratórios de ponta dos EUA, argumentando que as equipes chinesas agora estão impulsionando muitas das otimizações práticas que transformam as capacidades de LLM em commodity. O fio também explora como esses avanços podem corroer os modelos de negócio e as perspectivas de IPO de empresas de IA ocidentais fortemente capitalizadas, ao mesmo tempo em que aceleram a გავრცელamento de modelos abertos ou de baixo custo de alta qualidade.

DSpark & decodificação especulativa

  • DSpark é apresentado como o novo sistema de decodificação especulativa da DeepSeek, que acelera a inferência de LLM ao melhorar os modelos drafter e as políticas de verificação, reduzindo o trabalho de verificação desperdiçado em escala.
  • Ele já substituiu uma configuração anterior de previsão multi-token (“MTP-1”) em produção para DeepSeek-V4-Flash e V4-Pro, e é creditado com grandes ganhos reais de throughput.
  • Comentadores observam que ele se baseia em trabalhos anteriores de decodificação especulativa (por exemplo, artigos de 2022) e remove gargalos anteriores em vez de inventar o conceito.

Desempenho, preços & implantação

  • DSpark, junto com técnicas como Lookahead Sparse Attention, é citado como uma das principais razões pelas quais a DeepSeek reduziu os preços drasticamente (alegações em torno de ~75% de redução e “100x mais barato” do que alguns concorrentes na prática).
  • Usuários relatam altos volumes de tokens a custo muito baixo, especialmente quando combinado com caching e provedores mais baratos ou uso direto da API da DeepSeek em vez de agregadores como o OpenRouter.
  • Os pesos no Hugging Face para variantes “-DSpark” de V4-Flash e V4-Pro já estão disponíveis; o módulo especulativo está integrado.
  • Alguns querem benchmarks em GPUs de consumo; outros observam que a otimização reduz principalmente a pressão sobre a largura de banda da memória, então deve ajudar amplamente.

Ecossistema & modelos abertos

  • Muitos veem o DSpark como parte de um padrão mais amplo: laboratórios chineses lançando pesos abertos, artigos detalhados e infraestrutura (por exemplo, pipelines de treinamento) que outros podem reutilizar para vários modelos (Qwen, etc.).
  • Há otimismo de que pequenos modelos especializados de drafter especulativo proliferarão para diferentes casos de uso, e que essas técnicas transformarão ganhos de desempenho em commodity entre provedores.

Laboratórios dos EUA vs China, abertura & modelos de financiamento

  • Vários comparam a abertura da DeepSeek e a otimização em nível de software (até PTX) com o sigilo percebido dos laboratórios dos EUA, foco em regulamentação ou dependência de data centers cada vez maiores e hardware Nvidia de ponta.
  • Outros contrapõem que os laboratórios dos EUA quase certamente usam otimizações de baixo nível semelhantes, mas as mantêm privadas; a falta de publicação não implica falta de inovação.
  • Os laboratórios chineses são retratados de várias formas como: alcançando os demais por meio de engenharia “scrappy”, sendo estruturalmente mais colaborativos, incentivados pelo Estado a transformar LLMs em commodity e/ou financiados com menos pressão por receita de curto prazo.

Ética, PI e implicações de negócio

  • Há forte discordância sobre “ataques de destilação”: alguns chamam isso de roubo e comportamento empresarial chinês “clássico”; outros dizem que pagar por tokens significa que você pode usar as saídas como quiser, e observam que os próprios laboratórios dos EUA treinaram com dados sem licença.
  • Comentadores argumentam que, se seu fosso competitivo é “não destile minhas saídas”, então você não tem fosso competitivo.
  • Vários pensam que modelos abertos, baratos e “bons o suficiente”, além de otimizações como o DSpark, pressionarão margens, ameaçarão as narrativas de IPO de laboratórios de ponta e acelerarão a comoditização de APIs genéricas de LLM.