DSpark: अनुमानात्मक डिकोडिंग LLM इन्फरेंस को तेज़ करती है [pdf]

मूल लेख ↗ Hacker News चर्चा ↗

DSpark & अनुमानात्मक डिकोडिंग

  • DSpark को DeepSeek की नई अनुमानात्मक डिकोडिंग प्रणाली के रूप में प्रस्तुत किया गया है, जो ड्राफ्टर मॉडलों और सत्यापन नीतियों में सुधार करके LLM इन्फरेंस को तेज़ करती है, और बड़े पैमाने पर व्यर्थ सत्यापन कार्य को कम करती है।
  • इसने पहले के मल्टी-टोकन प्रेडिक्शन सेटअप (“MTP-1”) को पहले ही DeepSeek-V4-Flash और V4-Pro के उत्पादन में प्रतिस्थापित कर दिया है, और इसे वास्तविक दुनिया में बड़े थ्रूपुट लाभों का श्रेय दिया जाता है।
  • टिप्पणीकार नोट करते हैं कि यह अनुमानात्मक डिकोडिंग पर पहले के कार्य (जैसे 2022 के पेपर) पर आधारित है और अवधारणा का आविष्कार करने के बजाय पहले की बाधाओं को हटाता है।

प्रदर्शन, मूल्य निर्धारण और परिनियोजन

  • DSpark और Lookahead Sparse Attention जैसी तकनीकों को DeepSeek द्वारा कीमतें नाटकीय रूप से घटाने के प्रमुख कारणों के रूप में उद्धृत किया गया है (लगभग ~75% कटौती और व्यवहार में कुछ प्रतिस्पर्धियों की तुलना में “100x सस्ता” होने के दावे)।
  • उपयोगकर्ता बहुत कम लागत पर उच्च टोकन वॉल्यूम की रिपोर्ट करते हैं, खासकर जब इसे कैशिंग और सस्ते प्रदाताओं या OpenRouter जैसे एग्रीगेटरों के बजाय सीधे DeepSeek API उपयोग के साथ जोड़ा जाए।
  • V4-Flash और V4-Pro के “-DSpark” वैरिएंट्स के लिए Hugging Face वेट्स पहले से उपलब्ध हैं; अनुमानात्मक मॉड्यूल एकीकृत है।
  • कुछ लोग उपभोक्ता GPUs पर बेंचमार्क चाहते हैं; अन्य नोट करते हैं कि यह अनुकूलन मुख्यतः मेमोरी बैंडविड्थ दबाव को कम करता है, इसलिए इसे व्यापक रूप से मदद करनी चाहिए।

इकोसिस्टम और ओपन मॉडल्स

  • कई लोग DSpark को एक व्यापक पैटर्न का हिस्सा मानते हैं: चीनी लैब्स ओपन वेट्स, विस्तृत पेपर्स, और इन्फ्रास्ट्रक्चर (जैसे प्रशिक्षण पाइपलाइन) जारी कर रही हैं, जिन्हें अन्य लोग विभिन्न मॉडलों (Qwen, आदि) के लिए पुनः उपयोग कर सकते हैं।
  • इस बात को लेकर आशावाद है कि अलग-अलग उपयोग मामलों के लिए छोटे, विशेषीकृत अनुमानात्मक ड्राफ्टर मॉडल फैलेंगे, और ऐसी तकनीकें प्रदाताओं के बीच प्रदर्शन लाभों को वस्तु-सम बनाकर commoditize करेंगी।

US बनाम China लैब्स, ओपननेस और फंडिंग मॉडल्स

  • कई लोग DeepSeek की ओपननेस और सॉफ़्टवेयर-स्तरीय अनुकूलन (PTX तक) की तुलना US लैब्स की कथित गोपनीयता, विनियमन-केंद्रितता, या लगातार बड़े डेटा सेंटरों और शीर्ष Nvidia हार्डवेयर पर निर्भरता से करते हैं।
  • अन्य इसका प्रतिवाद करते हैं कि US लैब्स लगभग निश्चित रूप से समान निम्न-स्तरीय अनुकूलन का उपयोग करते हैं, लेकिन उन्हें निजी रखते हैं; प्रकाशन की कमी नवाचार की कमी को नहीं दर्शाती।
  • चीनी लैब्स को विभिन्न रूपों में इस तरह प्रस्तुत किया जाता है: “scrappy” इंजीनियरिंग के माध्यम से पकड़ बनाना, संरचनात्मक रूप से अधिक सहयोगी होना, राज्य द्वारा LLMs को commoditize करने के लिए प्रोत्साहित होना, और/या कम अल्पकालिक राजस्व दबावों के साथ वित्तपोषित होना।

नैतिकता, IP, और व्यावसायिक निहितार्थ

  • “डिस्टिलेशन अटैक्स” पर कड़ा मतभेद है: कुछ इसे चोरी और “क्लासिक” चीनी व्यापार व्यवहार कहते हैं; अन्य कहते हैं कि टोकन के लिए भुगतान करने का अर्थ है कि आप आउटपुट्स का जैसा चाहें उपयोग कर सकते हैं, और यह भी नोट करते हैं कि US लैब्स ने स्वयं बिना लाइसेंस वाले डेटा पर प्रशिक्षण दिया है।
  • टिप्पणीकार तर्क देते हैं कि यदि आपका moat “मेरे आउटपुट्स को डिस्टिल मत करो” है, तो आपके पास कोई moat नहीं है।
  • कई लोग मानते हैं कि खुले, सस्ते, “काफी अच्छे” मॉडल और DSpark जैसी अनुकूलन तकनीकें मार्जिन पर दबाव डालेंगी, frontier-lab IPO कथाओं को खतरे में डालेंगी, और सामान्य LLM APIs के commoditization को तेज़ करेंगी।