1-बिट LLMs का युग: लागत-कुशल कंप्यूटिंग के लिए टर्नरी पैरामीटर
एक नया research paper दावा करता है कि large language models को ternary weights (−1, 0, 1) — यानी प्रति parameter लगभग 1.58 bits — के साथ train किया जा सकता है, और फिर भी पारंपरिक 16-bit models के बराबर या उनसे बेहतर perplexity, memory use, latency, और energy consumption हासिल की जा सकती है। Commenters इसे cloud और edge AI दोनों के लिए एक संभावित बड़ा बदलाव मानते हैं, जिससे बहुत बड़े या सस्ते models संभव हो सकते हैं और ultra-low-precision integer operations के लिए optimized नए hardware designs को बढ़ावा मिल सकता है। हालांकि, वे यह भी नोट करते हैं कि यह approach models को शुरुआत से train करने की मांग करती है, मौजूदा benchmarks अपेक्षाकृत छोटे sizes तक सीमित हैं, और इसका प्रभाव पूरी तरह आँकने से पहले independent replication बेहद महत्वपूर्ण होगा.
शब्दावली और निरूपण
- बहुत से लोग {-1,0,1} मॉडल को “1‑bit” कहने पर आपत्ति करते हैं; उनका तर्क है कि यह टर्नरी / “1‑trit” है और 1.58 bits (log₂ 3) के अधिक करीब है।
- अन्य लोग “1‑bit” का बचाव मार्केटिंग शॉर्टहैंड के रूप में करते हैं, जिसका अर्थ “प्रति वेट 2 bits से कम” होता है।
- विभिन्न एन्कोडिंग योजनाओं पर चर्चा होती है: प्रति वेट 2 physical bits, जिसमें एक state unused रहती है, या 5 trits को 1 byte में pack करना (3⁵=243), जिसमें घनत्व और decoding cost के बीच trade-offs होते हैं।
- कुछ लोग इसे balanced ternary, radix-economy arguments, और ऐतिहासिक ternary computers से जोड़ते हैं।
पेपर के दावे
- वेट्स को {-1,0,1} तक सीमित किया गया है, activations low-precision integer ही रहते हैं।
- लगभग 3B parameters से ऊपर, reported perplexity और downstream task performance, लेखकों के datasets पर, समान आकार के FP16 baselines के बराबर या थोड़ा बेहतर है।
- Reported efficiency: ternary 13B ≈ या बेहतर than 3B FP16, 30B ≈ 7B FP16, 70B ≈ 13B FP16 latency/memory/energy में।
- Inference में full multiplies की जगह additions और sign operations का उपयोग होता है, जिससे बहुत सस्ती hardware implementations का संकेत मिलता है।
मौजूदा मॉडल्स का Training बनाम Quantizing
- यह post-hoc quantization नहीं है। Models को शुरुआत से ternary layers के साथ train किया जाता है।
- Training में वेट्स की एक उच्च-precision “latent” copy रखी जाती है; forward pass में ternary weights उपयोग होते हैं और backprop के लिए straight-through estimators का प्रयोग किया जाता है।
- Thread में उद्धृत Hugging Face discussion के अनुसार, मौजूदा FP models को साधारण conversion से quality नहीं बचती; workaround के रूप में existing models से distillation प्रस्तावित है।
Hardware और Ecosystem पर प्रभाव
- Commenters को custom accelerators, FPGAs, और संभवतः optical/analog या ternary hardware के लिए मजबूत लाभ की उम्मीद है, क्योंकि multipliers को बहुत छोटे add/logic circuits से बदला जा सकता है।
- कुछ लोग GPU dominance को चुनौती देने का अवसर देखते हैं; अन्य मानते हैं कि incumbents बस low-bit integer support जोड़ देंगे और/या startups को acquire कर लेंगे।
- यदि दावे सही निकलते हैं, तो consumer GPUs या यहाँ तक कि edge devices भी बहुत बड़े और तेज़ models चला सकते हैं।
संदेह, सीमाएँ, और पूर्व कार्य
- कई लोग बड़े models (7B, 13B, 70B) के लिए अनुपस्थित या अपूर्ण quality metrics और अपेक्षाकृत छोटे-token या specific-dataset evaluations पर ध्यान दिलाते हैं; वे independent replication की माँग करते हैं।
- binary/ternary networks, low-bit CNNs, और AdderNets पर prior work का उल्लेख किया जाता है; कुछ इसे conceptual novelty की बजाय एक महत्वपूर्ण engineering scale-up मानते हैं।
- कुल sentiment संभावित “game-changing” efficiency के उत्साह और इस सावधानी के बीच मिश्रित है कि जब तक और models तथा code जारी नहीं होते, परिणामों की व्याख्या over-interpreted हो सकती है।