ChatGPT Advent of Code 2023 करता है
Advent of Code 2023 को ChatGPT जैसे large language models के novel programming puzzles हल करने की क्षमता के लिए एक अनौपचारिक benchmark की तरह इस्तेमाल किया जा रहा है, और कई लोग नोट करते हैं कि ये समस्याएँ वर्तमान models को पहले के वर्षों की तुलना में कहीं अधिक अटकाती हैं। टिप्पणीकार इस पर बहस करते हैं कि क्या यह जानबूझकर “LLM-unfriendly” puzzle design का परिणाम है (जिसे creator ने स्पष्ट रूप से नकारा है), current architectures की अंतर्निहित सीमाओं का, या बस इन अनोखे tasks के लिए training data की कमी का। यह चर्चा इस बड़े सवाल तक फैल जाती है कि LLMs वास्तव में programmers की कितनी मदद कर सकते हैं—खासकर debugging और reasoning में—scaling उन्हें कितनी दूर ले जा सकती है, और क्या वे human problem‑solving को बदलने के बजाय everyday development workflows को सच में अर्थपूर्ण तरीके से बदलते हैं।
क्या AoC 2023 को जानबूझकर LLM‑प्रतिरोधी बनाया गया था?
- कई टिप्पणीकारों ने शुरू में मान लिया कि पहेलियाँ LLMs को भ्रमित करने के लिए बनाई गई थीं (अतिरिक्त शर्तें, पेचीदा शब्दावली, इनपुट का निरीक्षण करने की ज़रूरत)।
- दूसरे बताते हैं कि पहेली लेखक ने स्पष्ट रूप से किसी LLM प्रभाव से इनकार किया और पिछले वर्षों जैसी ही प्रक्रिया का वर्णन किया।
- कुछ लोग इसे इस तरह जोड़ते हैं कि लेखक अनजाने में ऐसे स्टाइल को तरजीह दे सकते हैं जो LLMs के लिए कठिन हों, या “AI‑adverse” का मतलब बस “वास्तव में नए, training set में न मौजूद problems” हो सकता है।
पहेली की विशेषताएँ और इनपुट की अनोखापन
- कई लोगों का कहना है कि सामान्य से अधिक समस्याओं में विशिष्ट input structure या special cases का अध्ययन करने से फ़ायदा मिला।
- उदाहरणों में circuit‑like tasks शामिल हैं जो आसान subgraphs में टूट जाती हैं, और ऐसी समस्याएँ जो इनपुट की विचित्रताएँ समझ आते ही general case की तुलना में बहुत आसान हो जाती हैं।
- दूसरे कहते हैं कि ऐसे input‑dependent tricks पहले के वर्षों में भी मौजूद रहे हैं।
AoC और कोडिंग पर LLM प्रदर्शन
- कुछ लोग बताते हैं कि GPT‑4 2023 के शुरुआती दिनों में भी, भारी मार्गदर्शन के बिना, असफल रहा, खासकर nuanced parsing में।
- दूसरे दिखाते हैं कि यदि interpreter और स्पष्ट मार्गदर्शन दिया जाए, तो GPT‑4 debug logging जोड़ सकता है, outputs की व्याख्या कर सकता है, और अपने code को iteratively ठीक कर सकता है।
- debugging को लेकर असहमति है: कुछ कहते हैं इसकी debugging skills “न के बराबर” हैं, जबकि दूसरे कहते हैं कि यदि उसे full rewrites के बजाय diffs, diagnoses, या focused help माँगी जाए तो वह मज़बूत है।
- AoC को सामान्य reasoning के लिए एक मज़बूत benchmark माना जाता है, लेकिन यह ज़रूरी नहीं कि रोज़मर्रा के business coding का प्रतिनिधि हो।
उत्पादकता और benchmarking पर बहस
- कई लोग LLMs का उपयोग boilerplate, regexes, puzzle statements को स्पष्ट करने, और rough scaffolding तेज़ करने के लिए करते हैं।
- एक सुझाया गया असली परीक्षण: क्या GPT‑4 के साथ औसत programmer, बिना GPT‑4 वाले समान कौशल के programmer से बेहतर प्रदर्शन करता है, और कितने अंतर से।
- इसकी तुलना अन्य productivity factors से की जाती है (language choice, IDEs, syntax highlighting)।
Scaling, data, और “Peak AI” की चिंताएँ
- कुछ लोग अधिक compute, data, और techniques (MoE, synthetic data) से भविष्य में बड़े लाभ की भविष्यवाणी करते हैं।
- दूसरे तर्क देते हैं कि हम data limits के करीब हैं और LLMs मूलतः pattern mimickers हैं, “true” intelligence या sentience तक पहुँचने का रास्ता नहीं।
- overfitting और models द्वारा पहले से मौजूद AoC तथा tutorial code को बस दोहराने की चिंता भी है, बजाय first principles से reasoning करने के।
Debugging और शिक्षा
- एक side thread CS education की आलोचना करता है कि वह perfect code पर बहुत ज़ोर देती है और debugging कम सिखाती है।
- AoC (और LLM उपयोग) यह उजागर करते हैं कि flawed code पर debugging और reasoning कितनी महत्वपूर्ण है।