Exponentially faster language modelling
Researchers UltraFastBERT प्रस्तुत करते हैं, जो BERT language model का एक variant है और tree-like “fast feedforward” (FFF) mechanism का उपयोग करके inference के दौरान अपने लगभग 0.3% न्यूरॉन्स ही सक्रिय करता है, फिर भी रिपोर्ट के अनुसार standard BERT accuracy के बराबर रहता है। टिप्पणीकार बताते हैं कि इससे बड़े speedups मिलते हैं—उनके benchmarks में दर्जनों से लेकर 70× से अधिक—विशेषकर CPUs पर, और इससे कहीं बड़े या सस्ते models, तेज़ edge inference, तथा on-device NPC logic या just-in-time embeddings जैसे नए applications संभव हो सकते हैं। हालांकि, यह तरीका वर्तमान में केवल inference को optimize करता है (training को नहीं), अभी भी पूरे model को memory में रखना पड़ता है, और बहुत बड़े transformer models तथा GPU-centric workflows में scale करने पर चुनौतियों का सामना कर सकता है.
तकनीक और दावे
- UltraFastBERT मानक feedforward (FF) लेयरों को “fast feedforward” (FFF) ट्रीज़ से बदलता है, जो प्रत्येक inference पर न्यूरॉन्स के एक बहुत छोटे उपसमूह का चयन करते हैं।
- रिपोर्ट किया गया: प्रति लेयर लगभग 0.3% न्यूरॉन्स का उपयोग, जबकि प्रदर्शन मानक BERT वैरिएंट्स के बराबर है।
- बेंचमार्क्स में FF लेयरों के लिए लगभग 78× CPU speedup और लगभग 40× PyTorch speedup का दावा किया गया है, तथा BERT-base स्केल पर सैद्धांतिक लाभ 341× तक बताए गए हैं।
- प्रशिक्षण अभी भी dense रहता है; branching का लाभ केवल inference पर लिया जाता है। यह विधि differentiable “soft” branching पर निर्भर करती है, जिसे प्रशिक्षण के दौरान hard किया जाता है।
हार्डवेयर और कार्यान्वयन
- GPUs को branching के लिए अक्षम बताया गया है; CPUs conditional execution और sparse access से अधिक लाभ लेते हैं।
- कुछ टिप्पणीकार नोट करते हैं कि पेपर में CUDA benchmarks भी बड़े speedups दिखाते हैं, लेकिन overall GPU memory अभी भी bottleneck है क्योंकि attention layers अपरिवर्तित रहती हैं।
- FLOPs को लगातार सस्ता माना जा रहा है; बड़े मॉडलों के लिए memory capacity और bandwidth प्रमुख कारक हैं।
- प्रभावी समर्थन के लिए conditional neural execution और बेहतर caching के नए hardware primitives उपयोगी होंगे।
प्रयोज्यता और उपयोग-केस
- सिद्धांत रूप में, यह अन्य transformers (जैसे LLaMA/Mistral) पर भी लागू हो सकता है, क्योंकि यह मुख्यतः FF submodule को बदलता है, लेकिन मौजूदा pretrained weights को पुन: उपयोग नहीं किया जा सकता; मॉडलों को फिर से प्रशिक्षित करना होगा।
- संभावित अनुप्रयोग: तेज CPU-आधारित inference, edge/phone deployments, game NPCs, search के लिए just-in-time embeddings, बड़े batch और tree-of-thought inference, तथा text-to-image या vision transformers में संभावित लाभ।
- कुछ लोग कई कमजोर devices में training/inference वितरित करने की कल्पना करते हैं, यहाँ तक कि volunteer-compute शैली में भी, हालांकि अन्य इसे अटकलबाज़ी मानते हैं।
सीमाएँ और खुले प्रश्न
- बड़े LLMs के लिए, attention अक्सर compute पर हावी होती है, इसलिए केवल FF speedups से कुल लाभ छोटा हो सकता है।
- आधुनिक inference अक्सर memory-bandwidth-bound होता है; यह स्पष्ट नहीं है कि यह दृष्टिकोण effective bandwidth की आवश्यकता को कितना कम करता है, क्योंकि सभी weights sparse रूप से उपयोग होने पर भी मौजूद रहते हैं।
- Sparse activations कुछ settings में precision/recall को कम करने का जोखिम रखते हैं।
- भारी branching के साथ GPU implementations की व्यावहारिकता और end-to-end latency पर वास्तविक प्रभाव अभी खुले प्रश्न हैं।
व्याख्यात्मकता और अनुसंधान संदर्भ
- tree-structured routing, decision trees या hierarchical softmax जैसी लगती है, जिससे interpretability बेहतर हो सकती है और input space का “surgical” model edits तथा partitioning संभव हो सकता है।
- चर्चा में कहा गया है कि प्रभावशाली foundational work अक्सर छोटे research groups से आता है, और conference incentives तथा “pay to play” dynamics को लेकर चिंताएँ हैं।
- कुछ लोग AI प्रगति के profit motives से संचालित होने को लेकर व्यापक असहजता व्यक्त करते हैं; अन्य तर्क देते हैं कि मुद्दा सामान्य incentive alignment है, capitalism स्वयं नहीं।