संपीड़न ही भविष्यवाणी है

स्थापित विचार: संपीड़न, भविष्यवाणी, सूचना सिद्धांत

• कई लोग बताते हैं कि यह मानक सूचना-सिद्धांत है: अच्छा संपीड़न अगले प्रतीक की अच्छी प्रायिकात्मक भविष्यवाणी मांगता है।
• सांख्यिकीय कंप्रेसर वितरणों का मॉडल बनाते हैं और संभावित घटनाओं को कम बिट्स में एन्कोड करते हैं; यह भाषा मॉडलों में अगले-टोकन भविष्यवाणी के सीधे समान है।
• कुछ लोग इस बात पर ज़ोर देते हैं कि यह संबंध दशकों से जाना जाता है, और आगमनात्मक निष्कर्ष, कोल्मोगोरोव जटिलता, तथा संपीड़न-आधारित समानता मापों पर पहले से काम मौजूद है।
• अन्य लोग यह रेखांकित करते हैं कि “संपीड़न ही भविष्यवाणी है” एक सरलीकरण है: संपीड़न भविष्यवाणी का उपयोग करता है, लेकिन हर स्थिति में दोनों एक ही नहीं हैं।

LLMs, विश्व मॉडल, और “नए विचार”

• कई टिप्पणियाँ संपीड़न के दृष्टिकोण का उपयोग “LLMs बस तोते हैं” वाली दलील का जवाब देने के लिए करती हैं: प्रशिक्षण को डेटा-उत्पादक प्रक्रिया के एक संक्षिप्त मॉडल को खोजने के रूप में देखा जा सकता है, न कि केवल वक्रों को याद करने के रूप में।
• उपमा: ग्रहों की गति के लिए एक संक्षिप्त फ़ंक्शन फिट करने से आप अनदेखी कक्षाओं की भविष्यवाणी कर सकते हैं; इसी तरह, एक भाषा मॉडल मानव पाठ उत्पन्न करने वाली प्रक्रियाओं का अनुमान लगाता है और प्रशिक्षण सेट से आगे भी सामान्यीकरण कर सकता है।
• कुछ का तर्क है कि मनुष्यों में “नए विचार” भी पूर्व डेटा से पुनर्संयोजन/निष्कर्ष हो सकते हैं; उस अर्थ में, उन्नत मॉडल भी वही कर सकते हैं।
• अन्य लोग ज़ोर देते हैं कि केवल भविष्यवाणी भौतिक दुनिया के बारे में नया ज्ञान प्रयोगों के बिना नहीं दे सकती।

सीमाएँ, सामान्यीकरण, और वितरण-परिवर्तन

• आलोचक एक महत्वपूर्ण सावधानी बताते हैं: भविष्यवाणी≈संपीड़न केवल तब साफ़-सुथरे तरीके से लागू होता है जब प्रशिक्षण और परीक्षण वितरण मेल खाते हों।
• एक स्थिर डेटासेट पर अधिकतम संपीड़न के लिए ओवरफिटिंग भविष्य के या बदले हुए डेटा पर प्रदर्शन को नुकसान पहुँचा सकती है; इसे सामान्यीकरण/ओवरफिटिंग के शास्त्रीय संतुलन के समान माना गया है।
• कुछ लोग जवाब देते हैं कि कोई भी कंप्रेसर जो वास्तविक स्रोत को बेहतर मॉडल करता है, अंततः भविष्य के डेटा को भी बेहतर संपीड़ित करेगा, लेकिन वे मानते हैं कि यह वितरण-निर्भर है।

कंप्रेसर जनरेटर के रूप में (और इसके विपरीत)

• कई टिप्पणियाँ समझाती हैं कि किसी भी प्रायिकात्मक कंप्रेसर को एक ऑटोरेग्रेसिव जनरेटर में बदला जा सकता है: हर संभव अगले टोकन को आज़माओ, देखो कौन-सा सबसे अच्छा सह-संपीड़ित होता है, और उसी के अनुसार सैंपल करो।
• न्यूरल कंप्रेसरों और LLM-आधारित कंप्रेसरों के साथ प्रयोगों ने in-distribution और held-out पाठ दोनों पर मजबूत परिणाम दिखाए हैं, अक्सर bits per byte में पारंपरिक टूल्स से बेहतर प्रदर्शन करते हुए।
• हालांकि, पारंपरिक कंप्रेसर व्यावहारिक रूप से बहुत खराब पाठ-जनरेटर बने रहते हैं, जो दिखाता है कि “कंप्रेसर होना” उच्च-गुणवत्ता भविष्यवाणी के लिए आवश्यक तो है, पर पर्याप्त नहीं।

समझ, अमूर्तन, और लॉसी बनाम लॉसलेस

• इस पर एक लंबी उप-चर्चा है कि “समझना लॉसी संपीड़न है” या नहीं:
  • एक पक्ष: अमूर्तन/सामान्यीकरण ठीक वही है जो चुनिंदा सूचना-हानि है, यानी यह तय करना कि कौन-से विवरण मायने नहीं रखते।
  • दूसरा पक्ष: आप अर्थगत समझ के बिना भी सिंटैक्स को पूरी तरह लॉसलेस रूप से संपीड़ित कर सकते हैं; उच्च-गुणवत्ता लॉसी संपीड़न वास्तविक समझ के साथ अधिक संबंधित हो सकता है।
• शिक्षण बनाम समझ बनाम अनुप्रयोग को मनुष्यों में संपीड़न/विसंपीड़न के अलग-अलग चरणों के रूप में प्रस्तुत किया गया है।

बुद्धि, चेतना, और दायरा

• कुछ लोग संपीड़न, बुद्धि, और यहाँ तक कि सौंदर्यशास्त्र के बीच घनिष्ठ संबंध देखते हैं (सौंदर्य को कुशल वर्णन, भौतिकी को अंतिम संपीड़न के रूप में)।
• अन्य लोग अतिविस्तार के खिलाफ चेतावनी देते हैं: LLM का अच्छा कंप्रेसर होना अपने-आप चेतना का संकेत नहीं है; उसी तर्क से, साधारण फ़ाइल कंप्रेसर भी दावेदार हो सकते हैं।
• फिर भी, बहुतों को उम्मीद है कि जैसे-जैसे अधिक शक्तिशाली संपीड़न/भविष्यवाणी प्रणालियाँ विकसित होंगी, उन्हें उतने ही समृद्ध विश्व मॉडलों की आवश्यकता होगी।

लेख और शिक्षण-पद्धति पर आलोचनाएँ

• कई टिप्पणीकार दृश्यों को पसंद करते हैं और मानते हैं कि यह सामग्री गैर-विशेषज्ञों के लिए सुलभ व्याख्या है।
• अन्य लोग प्रस्तुति की आलोचना करते हैं मानो विचार अभी-अभी “खोजे” गए हों, और कहते हैं कि ऐतिहासिक संदर्भ या पुराने कार्यों के संदर्भ कम हैं।
• इस पर बहस है कि एक लोकप्रिय ब्लॉग पोस्ट में कितना पृष्ठभूमि-संदर्भ और श्रेय होना चाहिए, बनिस्बत इसके कि व्याख्याएँ हल्की और आकर्षक रखी जाएँ।