ट्रांसफॉर्मर्स के पीछे के गणित को समझकर वे कैसे काम करते हैं, यह जानें

उच्च-स्तरीय प्रतिक्रियाएँ

• कई लोगों के लिए ट्रांसफॉर्मर्स को सचमुच “समझना” कठिन है: साधारण मॉडल व्याख्येय होते हैं लेकिन उपयोगी नहीं, जबकि उपयोगी मॉडल इतने बड़े लगते हैं कि उन्हें पूरी तरह समझ पाना मुश्किल होता है।
• “मोनाड ट्यूटोरियल्स” से तुलना: आपको उनसे जूझना पड़ता है, और एक बार उन्हें समझ लेने के बाद, उन्हें साफ़-साफ़ समझाना कठिन हो जाता है।
• कुछ लोग लेख की सराहना करते हैं; अन्य मानते हैं कि “पीछे का गणित” वाला फ्रेमिंग गणितीय गहराई को जरूरत से ज्यादा बढ़ा-चढ़ाकर पेश करता है।

ट्रांसफॉर्मर्स, अटेंशन, और कंप्यूट ग्राफ़्स

• एक दृष्टिकोण: “रहस्य” मुख्यतः स्थिर लेयर वेट्स को सीखे गए Q/K/V मैट्रिसेस और भारी पैरेललिज़्म से बदलने में है; अटेंशन को संरचनात्मक रूप से सरल लेकिन कठोर माना जाता है।
• प्रतिपक्ष: जो चीज़ विशेष है वह है सभी पिछले टोकनों तक पूर्ण, बिना नुकसान के पहुँच, RNNs के विपरीत जो इतिहास को संपीड़ित करते हैं।
• इस पर बहस कि क्या भविष्य की प्रगति के लिए कंप्यूट ग्राफ़ को ही सीखने योग्य बनाना होगा; ग्राफ़ स्पेस की डिस्क्रीट प्रकृति और ग्रेडिएंट-आधारित प्रशिक्षण से जुड़ी समस्याएँ उठाई गईं।
• सुझाए गए उपायों में जेनेटिक एल्गोरिद्म, डिफ़रेंशिएबल आर्किटेक्चर सर्च, और सबग्राफ़्स को जोड़ने के लिए हेब्बियन-जैसी यांत्रिकियाँ शामिल हैं।

प्रगति, “वास्तविक AI,” और टूल उपयोग

• कुछ का तर्क है कि वर्तमान LLMs GPT‑3.5/4 के आसपास प्लेटो कर जाते हैं और मुख्यतः कुशल “information compression” देते हैं, “actual AI” नहीं।
• अन्य तर्क देते हैं कि कार्यक्षमता स्पष्ट रूप से बेहतर हुई है और कॉन्सेप्ट लर्निंग तथा बहु-चरणीय तर्क (जैसे ReAct/Tree-of-Thoughts के साथ) साधारण lookup से आगे जाते हैं।
• “Actual AI” को अलग-अलग तरह से परिभाषित किया गया है: अनदेखी समस्याओं पर मजबूत तर्क, स्वायत्त योजना निर्माण, या ऐसी प्रणालियाँ जो जटिल कलाकृतियों को end-to-end डिज़ाइन कर सकें।
• LLMs को नेटवर्क के अंदर CPUs/NAND gates की नकल कराने के बजाय बाहरी टूल्स और सिमुलेटर्स से बढ़ाने के लिए मजबूत समर्थन है।

मस्तिष्क और न्यूरल नेट्स से संबंध

• इस पर मिश्रित विचार हैं कि क्या मस्तिष्क “transformers” का उपयोग करता है: कुछ कहते हैं नहीं; अन्य उन कार्यों की ओर इशारा करते हैं जो hippocampal grid/place cells से मिलती-जुलती transformer- जैसी representations दिखाते हैं।
• यह स्पष्ट किया गया कि भ्रम के बावजूद transformers, backpropagation के साथ प्रशिक्षित neural networks हैं।
• forward-forward algorithms और अन्य अधिक जैविक रूप से संभाव्य learning schemes को वैकल्पिक प्रेरणाओं के रूप में उल्लेख किया गया है।

गणित, embeddings, और positional encoding

• कई टिप्पणियाँ और गहराई से चर्चा चाहती हैं:
  • Tokenization बनाम embeddings और “dequantization.”
  • Positional encodings, sin/cos क्यों, frequency choices, और learnable बनाम fixed encodings।
  • Attention में dot products, softmax, scaling, और residuals की विस्तृत भूमिकाएँ।
• कुछ लोग एक पन्ने की “Transformer in equations” शीट की प्रशंसा करते हैं, इसे वही संक्षिप्त गणित मानते हैं जिसकी उन्हें तलाश थी।

इम्प्लीमेंटेशन संबंधी चिंताएँ और संख्यात्मक मुद्दे

• पाठकों ने decoder residual connections और missing layer norms में संभावित कोड समस्याएँ बताई हैं।
• “gradient explosion” को NaNs का कारण बताने वाले एक भाग की आलोचना की गई; वास्तविक समस्या को बड़े activations और संख्यात्मक रूप से अस्थिर softmax के रूप में वर्णित किया गया है।
• positional encoding formulas और indexing के बारे में मामूली भ्रम है; मूल पेपर के कोड से भिन्नताओं को नोट किया गया है लेकिन उन्हें गैर-आलोचनात्मक माना गया है।

Next-Token Prediction और Generalization

• प्रश्न: “सिर्फ” next-token predictors अनदेखे identifiers या नए in-context examples को कैसे संभाल सकते हैं?
• उत्तर इस पर जोर देते हैं:
  • सीखे गए उच्च-आयामी latent concepts (जिसमें “gibberish/placeholder” भी शामिल है) जिनमें नए token strings मैप होते हैं।
  • In-context learning और token sequences पर pattern matching।
  • सैद्धांतिक बिंदु: एक सही conditional next-token distribution, पूर्ण sequences पर एक distribution को अप्रत्यक्ष रूप से परिभाषित करता है, जो समृद्ध व्यवहारों का प्रतिनिधित्व कर सकता है।