जनरेटिव मॉडल: वे क्या जानते हैं? क्या वे चीज़ें जानते हैं? आइए पता लगाएँ
जनरेटिव इमेज मॉडल 2D छवियों और पाठ पर प्रशिक्षित होने के बावजूद गहराई, surface normals, albedo, और lighting जैसे 3D दृश्य गुणों को परोक्ष रूप से सीखते प्रतीत होते हैं। टिप्पणीकार इसे इस प्रमाण के रूप में देखते हैं कि ऐसे सिस्टम केवल पिक्सल “जोड़ने” के बजाय आंतरिक, मानव-व्याख्येय representations बनाते हैं, जिससे इस पर बहस छिड़ती है कि क्या यह वास्तविक world modeling या समझ है, बनाम परिष्कृत pattern-matching। यह काम vision, VR, और 3D reconstruction में अनुप्रयोगों की अटकलों को भी बढ़ाता है, साथ ही इस बड़े प्रश्न को भी कि ये मॉडल मानव perception और learning के कितने करीब हैं।
पहुंच / सेटअप
- कुछ उपयोगकर्ताओं ने मुख्य साइट पर SSL समस्याएँ देखीं; अन्य ने प्रमाणपत्र की पुष्टि की और GitHub मिरर प्रदान किया।
- यह दिखाने के लिए प्रमाणपत्र के फ़िंगरप्रिंट विवरण साझा किए गए कि यह कम-से-कम कुछ स्थानों से वैध है।
आंतरिक 3D / दृश्य निरूपण
- कई लोगों को यह देखकर आश्चर्य हुआ कि जनरेटिव इमेज मॉडल परोक्ष रूप से गहराई, सतह सामान्य (surface normals), एल्बेडो, और संभवतः स्पेक्युलैरिटी जैसे सामग्री गुणों का निरूपण करते प्रतीत होते हैं।
- इसकी तुलना पारंपरिक physically based rendering pipelines और deferred shading/G-buffers से की गई।
- केवल 2D छवियों + पाठ पर प्रशिक्षित autoregressive और diffusion मॉडलों से उच्च-गुणवत्ता वाले depth/normal maps मिलना लोगों को चौंकाता है और इसे आंतरिक “world model” या 3D engine के प्रमाण के रूप में लिया जाता है।
“समझ” बनाम stochastic parrots
- एक पक्ष का तर्क है कि ये मॉडल स्पष्ट रूप से अमूर्त, मानव-व्याख्येय संरचनाएँ सीखते हैं, जिससे “stochastic parrot” / केवल उगल देने वाले दृष्टिकोण को झटका लगता है।
- दूसरे कहते हैं कि वास्तविक समझ के पक्ष में “शून्य प्रमाण” है और मॉडल अभी भी केवल प्रशिक्षण डेटा के आँकड़ों को पुन: उत्पन्न करने के लिए अनुकूलित कर रहे हैं।
- एक मध्य दृष्टिकोण: “समझ” को एक ऐसे आंतरिक कारणात्मक मॉडल के रूप में देखना बेहतर है जो सामान्यीकरण करता है; उस मानक के अनुसार, यह एक स्पेक्ट्रम है, द्विआधारी नहीं।
क्वालिया, चेतना, और मानव तुलना
- कुछ लोग AI की समझ की आलोचना को आत्माओं पर पुराने बहसों के समान मानते हैं।
- अन्य ज़ोर देते हैं कि एक मौलिक अंतर है: मनुष्यों के पास qualia और इच्छा होती है, मॉडलों के पास नहीं, और हम यह भी नहीं जानते कि इसे कैसे पहचाना जाए।
- इसका प्रतिवाद यह है कि qualia शायद अस्पष्ट परिभाषित हैं और संभवतः आंतरिक अवस्थाओं और self-models तक घटाए जा सकते हैं; यदि ऐसा है, तो ऐसे सिस्टम अंततः उस मानदंड पर खरे उतर सकते हैं।
World models के बारे में संदेह
- आलोचकों का तर्क है कि सुसंगत 3D तर्क से artifacts (अतिरिक्त अंग, खराब दृष्टिकोण) समाप्त हो जाने चाहिए, जबकि वे अभी भी दिखाई देते हैं।
- कुछ लोग नोट करते हैं कि पारंपरिक टूल एकल छवि से normals/depth का अनुमान लगा सकते हैं, बिना पूर्ण world simulation का दावा किए।
- यह स्पष्ट नहीं है कि अंतर्निहित UNet को कभी paired G-buffer डेटा पर प्रशिक्षित किया गया था; कुछ लोगों को संदेह है कि वह छिपा हुआ “secret sauce” हो सकता है।
I-LoRA कैसे काम करता है (उच्च-स्तरीय)
- व्याख्याएँ इस पर ज़ोर देती हैं कि I-LoRA frozen base model के ऊपर trainable parameters (LoRA) की एक छोटी संख्या जोड़ता है और केवल उन्हीं को fine-tune करता है।
- क्योंकि <1% parameters बदले जाते हैं लेकिन फिर भी अच्छे normals/depth उभरते हैं, commenters यह निष्कर्ष निकालते हैं कि base model में पहले से ही लगभग-तैयार representations मौजूद हैं; LoRA बस उन्हें “read out” करता है।
अनुप्रयोग और विस्तार
- लोग VR/spatial computing (stereo views), relightable 3D reconstructions (जैसे gaussian splatting), और बेहतर depth maps के लिए लाभ की कल्पना करते हैं—हालाँकि कुछ कहते हैं कि सामान्य depth maps वास्तविक उपयोग में टूट जाते हैं।
- यह जिज्ञासा भी है कि क्या इसी तरह की तकनीकें text models पर लागू की जा सकती हैं (जैसे factual knowledge editing) और अन्य जनरेटिव सिस्टमों पर भी, जिनमें NN-generating NNs शामिल हैं।
Sora, world simulation, और hallucinations
- कुछ लोग इस काम को Sora पर प्रतिक्रियाओं से जोड़ते हैं, और दोनों को इस प्रमाण के रूप में लेते हैं कि video models केवल “क्लिप्स को जोड़” नहीं रहे, बल्कि एक अंतर्निहित भौतिक सिमुलेशन चला रहे हैं।
- अन्य लोग Sora के स्पष्ट artifacts (जैसे अतिरिक्त अंग) को मजबूत भौतिक मॉडलिंग पर संदेह करने का कारण बताते हैं।
- मानव hallucinations और स्वप्न-जैसी विकृतियों को एक सादृश्य के रूप में उद्धृत किया जाता है: त्रुटिपूर्ण आउटपुट का अर्थ यह नहीं कि world model नहीं है।
LoRA का आकार और “वास्तविक निष्कर्षण” बनाम नया मॉडल
- एक चिंता यह है कि लाखों parameters वाला LoRA स्वयं ही अधिकांश काम कर सकता है, plausible normals/depth बना सकता है बजाय वास्तव में मौजूदा संरचना को उजागर करने के।
- समर्थक नियंत्रणों की ओर इशारा करते हैं: जब LoRA को randomly initialized UNet पर प्रशिक्षित किया जाता है, intrinsic maps collapse हो जाते हैं, जिससे संकेत मिलता है कि pre-trained model की विशेषताएँ आवश्यक हैं।
वास्तविक छवियों का उपयोग और depth / normal extraction
- paper का यह दावा कि diffusion models image-to-image संरचनाएँ हैं, उन्हें वास्तविक photos पर लागू करना सरल बनाता है।
- वास्तविक photos से depth और normals प्रदर्शित किए गए हैं; real photos से albedo/lighting अभी भी अनुमानात्मक हैं लेकिन विशेष रूप से relighting के लिए रोमांचक माने जाते हैं।
व्यापक interpretability कार्य से संबंध
- commenters इसे अन्य mechanistic interpretability परिणामों से जोड़ते हैं (जैसे Othello खेलने वाले transformers में आंतरिक संरचना, LLMs में fact-editing)।
- उभरती तस्वीर: बड़े जनरेटिव मॉडल समृद्ध मध्यवर्ती representations एन्कोड करते हैं, जिन्हें अपेक्षाकृत हल्के अतिरिक्त प्रशिक्षण से उपयोग किया जा सकता है।
फंडिंग और शीर्षक / पॉप-संस्कृति प्रतिक्रिया
- कॉर्पोरेट funders (जैसे automotive और creative software कंपनियाँ) द्वारा टीवी-प्रेरित, चंचल शीर्षक वाले शोध का समर्थन करने पर amusement और कुछ आश्चर्य है।
- Bojack Horseman gameshow संदर्भ को व्यापक रूप से सराहा गया, जिससे शो के हास्य और निराशाजनकपन के मिश्रण पर चर्चा हुई और यह कैसे paper के गंभीर काम की चंचल framing से मेल खाता है।