ग्रेडिएंट डिसेंट द्वारा सीखा गया हर मॉडल लगभग एक kernel machine है (2020)
Gradient descent से trained neural networks को mathematically kernel machines के रूप में पुनः रूपांतरित किया जा सकता है, लेकिन टिप्पणीकारों का तर्क है कि यह समानता मुख्यतः सैद्धांतिक रुचि की है: implied kernels पूरे training trajectory पर निर्भर करते हैं और classic kernel methods के व्यावहारिक लाभ नहीं देते। चर्चा आगे इस बड़े बहस में फैलती है कि आधुनिक deep models—विशेष रूप से large language और generative video models—मुख्यतः training data को memorise कर रहे हैं या वास्तव में generalize कर रहे हैं, जिसमें efficiency, associative memory की भूमिका, और artificial general intelligence के दावों पर इन व्यवहारों के निहितार्थ शामिल हैं.
Kernel machines बनाम neural networks
- कई टिप्पणीकारों का कहना है कि साधारण neural networks को लंबे समय से kernel methods और Gaussian processes से जोड़ा जाता रहा है; कुछ लोगों के अनुसार 2020 का पेपर मौलिक होने से अधिक व्याख्यात्मक है।
- एक मुख्य आलोचना: निर्मित “kernel” gradient descent की पूरी training trajectory पर निर्भर करता है। यह इसे classical kernel methods से अलग बनाता है, जहाँ kernel अधिकांशतः data-independent होता है (जैसे, tunable parameters वाला Gaussian)।
- क्योंकि हर नया data point पूरे training path को बदल देता है, आपको kernel-style incremental updates नहीं मिलते; सारी जटिलता बस “kernel में स्थानांतरित” हो सकती है, जिससे व्यावहारिक अंतर्दृष्टि सीमित रहती है।
- अन्य लोग बताते हैं कि कई ML methods, व्यापक अर्थ में, किसी feature representation पर sophisticated memorization ही हैं, इसलिए gradient-descent-trained models को “kernel machines” कहना तकनीकी रूप से सही हो सकता है लेकिन बहुत illuminating नहीं।
आधुनिक models में memorization बनाम generalization
- एक प्रमुख subthread इस पर बहस करता है कि बड़े models (LLMs, video models) के चौंकाने वाले परिणाम मुख्यतः memorization हैं या व्यापक generalization का प्रमाण।
- एक पक्ष का तर्क है: सूक्ष्म visual या textual detail संभवतः training data को दोहराने से आती है; अस्पष्ट train/test splits “data laundering” को सक्षम बनाते हैं।
- दूसरा पक्ष ऐसे tasks का हवाला देता है जिनमें वास्तविक pattern learning और algorithm induction की आवश्यकता दिखती है (जैसे, in-context regression, grammar-following, Go-playing systems, novel image compositions)।
- असहमति “memorization” की परिभाषा पर केंद्रित है: examples का exact reuse बनाम examples से compressed, उच्च-स्तरीय representations और algorithms सीखना।
Human intelligence, memory, और AI comparison
- कई टिप्पणियाँ समानताएँ खींचती हैं: human experts (plumbers, lawyers, engineers, chess grandmasters) बहुत हद तक memory और pattern reuse पर निर्भर करते हैं; creativity अक्सर derivative होती है।
- अन्य लोग इसका विरोध करते हैं, यह रेखांकित करते हुए कि humans वास्तव में novel situations को संभाल सकते हैं, skills को domains के पार reuse कर सकते हैं, और reasoning समझा सकते हैं—ऐसी क्षमताएँ जिनसे current models केवल आंशिक रूप से मेल खाते हैं।
Limits, failures, और confabulation
- image examples (जैसे space suit में horse) creativity और “basic” inconsistencies दोनों को दर्शाते हैं (helmet या suit शरीर को पूरी तरह ढँक नहीं पाता), जिससे संदेह पैदा होता है कि क्या ऐसी confabulation को पूरी तरह हटाया जा सकता है।
- कुछ लोग इन्हें overall sophistication की तुलना में छोटे artifacts मानते हैं; अन्य इन्हें missing world-model या logical structure के प्रमाण के रूप में देखते हैं।
Meta: पेपर की reception और व्यापक संस्कृति
- कुछ लोग “everything is a kernel machine” framing को अतिरंजित या व्यावहारिक अर्थ में “nonsense” मानते हैं, क्योंकि kernel data-dependent है।
- kernel/SVM-style approaches, classical statistics, और deep learning communities के बीच चल रहे तनाव का भी उल्लेख है, और कुछ researchers deep learning के प्रभुत्व को strongly नापसंद करते हैं।