Claude Code के “Extended Thinking” आउटपुट में मौजूद पाठ

मूल लेख ↗ Hacker News चर्चा ↗

“Extended thinking” वास्तव में क्या है

  • कई टिप्पणियों में कहा गया है कि दिखाई देने वाला “reasoning_summary” खुद छिपे हुए CoT टोकनों का सारांश है, न कि कच्चा token-by-token ट्रेस।
  • कुछ लोग तर्क देते हैं कि ये छिपे हुए ट्रेस बस अधिक text generation हैं, न कि आंतरिक activations या “सच्चे विचार” की पारदर्शी झलक।
  • अन्य लोग शोध की ओर इशारा करते हैं जो सुझाता है कि raw CoT भी अक्सर underlying computation से faithfully मेल नहीं खाता।

Summarization और CoT छिपाने के प्रेरक कारण

  • व्यापक रूप से माना गया primary motive: anti-distillation और IP protection। पूरा CoT प्रतिस्पर्धियों के लिए यह कॉपी करना आसान बना देता है कि frontier models समस्याएँ “कैसे” हल करते हैं।
  • यह भी बताया गया:
    • misaligned या “deranged” आंतरिक text को उजागर करने से liability और PR risk कम करना।
    • Safety: users को CoT edit करने, instructions inject करने, या feedback signals को game करने से रोकना।
    • UX: raw CoT लंबा, अजीब, या illegible हो सकता है; summaries को scan करना तेज़ होता है।

Visible reasoning की उपयोगिता और सीमाएँ

  • कुछ users को full CoT debugging के लिए, बीच-प्रक्रिया में गलत assumptions पकड़ने के लिए, और समय के साथ model drift मापने के लिए बहुत उपयोगी लगता है।
  • अन्य कहते हैं कि वे शायद ही full chains पढ़ते हैं; रोज़मर्रा के queries के लिए एक छोटा rationale या कोई CoT नहीं भी ठीक है।
  • कई लोग बताते हैं कि LLM “thinking” अक्सर post-hoc जैसा, noisy, या quasi-jargon (“neuralese”) में होता है, इसलिए इसकी interpretive value सीमित है।

Security, safety, और threat models

  • चिंता: छिपा हुआ reasoning और tool calls मिलकर prompt-injection exfiltration या ऐसी “secret” actions सक्षम कर सकते हैं जिन्हें users audit नहीं कर पाते।
  • Counterpoint: रिपोर्ट के अनुसार अधिकांश major vendors कुछ मामलों में reasoning tokens को context से strip या drop कर देते हैं, और tool calls को फिर भी किसी न किसी तरह surface होना ही पड़ता है।
  • thread से यह स्पष्ट नहीं है कि कौन-से vendors कौन-से thinking tokens रखते हैं, कब, और encrypted blobs का पुन: उपयोग कैसे होता है।

Business models, moats, और openness

  • कई लोग hidden CoT को proprietary models के चारों ओर एक economic moat बनाने का हिस्सा मानते हैं, जब otherwise कोई real “moat” नहीं होता।
  • अन्य लोग तर्क देते हैं कि यह standard IP protection है, closed-source software या trade secrets के समान।
  • कुछ लोग strongly open या Chinese models को prefer करते हैं जो raw reasoning दिखाते हैं, और opaque “black box” assistants को socially harmful तथा serious work के लिए खराब मानते हैं.