Anthropic के नए cryptanalysis परिणामों के बारे में कुछ विचार
Anthropic के AES पर नए cryptanalysis परिणाम, जो काफी हद तक एक unreleased model को “keep going” कहकर हासिल किए गए, लोगों को आधुनिक LLMs की क्षमताओं और elaborate prompt engineering के मूल्य—दोनों पर पुनर्विचार करने के लिए प्रेरित कर रहे हैं। टिप्पणीकार दिखाते हैं कि साधारण, iterative prompts अब भी गैर-तुच्छ गणितीय और सुरक्षा निष्कर्ष सामने ला सकते हैं, जबकि यह भी बहस चल रही है कि क्या “glorified autocomplete” उन models के लिए अभी भी उचित वर्णन है जो मानव ज्ञान के पूरे corpus में mechanized attention की तरह काम करते दिखते हैं। चर्चा आगे intelligence या AGI की परिभाषा, मौजूदा models की सीमाएँ, और cryptography, cybersecurity, तथा software development जैसे क्षेत्रों को ये tools कितनी तेज़ी से बदल रहे हैं, इन सवालों तक फैलती है।
Prompting बनाम “Process Engineering”
- कई टिप्पणियाँ नोट करती हैं कि cryptanalysis परिणाम और हालिया गणितीय सफलताएँ बहुत ही साधारण prompts से आईं, जैसे “keep going” या “you should do a breakthrough.”
- इससे कुछ लोग elaborate “prompt engineering” प्रथाओं पर सवाल उठाते हैं, और तर्क देते हैं कि मौजूदा मॉडल छोटे, प्राकृतिक निर्देशों पर अच्छी तरह प्रतिक्रिया करते हैं।
- अन्य लोग इसे prompt engineering के रूप में नहीं, बल्कि “process engineering” के रूप में देखते हैं: iterative workflows और feedback loops डिज़ाइन करना, जहाँ domain experts व्यवस्थित रूप से models को बेहतर परिणामों की ओर धकेल सकते हैं।
Model Capability, Limits, and Filters
- टिप्पणीकार highlight करते हैं कि AES काम दिखाता है कि मौजूदा models ज्ञात तकनीकों को व्यवस्थित रूप से लागू करने में कितने शक्तिशाली हैं, न कि नए, अजीब तरीके invent करने में।
- कई लोग “glorified autocomplete” वाली dismissal का विरोध करते हैं, और तर्क देते हैं कि next-token prediction surprisingly गहन reasoning और discovery दे सकता है, खासकर post-training और tools के साथ।
- अन्य लोग इस phrase का बचाव एक उपयोगी ontological reminder के रूप में करते हैं कि ये statistical text engines हैं, sentient agents नहीं, हालांकि परिणाम फिर भी remarkable हो सकते हैं।
- ostensibly harmless biology या history questions पर मजबूत safety filters और automatic downgrades (जैसे Mythos/Fable से कमजोर models पर) को लेकर निराशा है।
Intelligence, Consciousness, and AGI Definitions
- एक लंबा subthread इस पर बहस करता है कि “intelligence,” “consciousness,” और “AGI” वास्तव में क्या मतलब रखते हैं।
- कुछ लोग तर्क देते हैं कि next-token predictor होना advanced reasoning या यहाँ तक कि consciousness को नकारता नहीं है; अन्य कहते हैं कि LLMs में continuous experience और अन्य मुख्य गुण स्पष्ट रूप से नहीं हैं।
- AGI को अलग-अलग तरह से परिभाषित किया जाता है: अधिकांश कार्यों में human-level performance, self-improving superintelligence, या बस current LLMs का median human text competence से मेल खाना।
- इस बात पर सहमति है कि goalposts धुंधले रहे हैं और LLMs ने दिखाया कि AGI की कितनी असंगत definitions साथ-साथ मौजूद हैं।
LLMs as “Mechanized Attention”
- एक analogy: LLMs “mechanized attention” या एक ultra-fast research librarian जैसे हैं, जो prior knowledge की विशाल मात्रा को सामने लाते और recombine करते हैं।
- इससे solution quality का “floor” ऊपर जा सकता है, क्योंकि गहरे prior work को quick या toy projects के लिए भी accessible बनाया जा सकता है।
- कुछ लोग चिंतित हैं कि LLMs पर भारी निर्भरता मानव skills और independent thinking को कमजोर कर सकती है।
Cryptography-Specific Concerns
- कुछ प्रतिभागी “AES is broken” जैसी headlines से थकान जताते हैं, जो सीमित, अत्यधिक constrained attacks पर आधारित होती हैं।
- चिंता है कि AI-generated cryptanalysis genuine advances के साथ-साथ low-value, clickbaity crypto posts भी बढ़ा देगा।