Tell HN: GPT copilots प्रोग्रामिंग के लिए इतने अच्छे नहीं हैं

Hacker News चर्चा ↗

GitHub Copilot और ChatGPT जैसे AI coding assistants को boilerplate, autocomplete, और अपरिचित tools या frameworks सीखने के लिए व्यापक रूप से उपयोगी माना जाता है, लेकिन जटिल या बड़े पैमाने के programming tasks के लिए ये कहीं कम भरोसेमंद हैं। कई programmers hallucinated APIs, subtle bugs, project context की सीमित समझ, और code quality व plagiarism को लेकर चिंताओं जैसी समस्याओं के बावजूद modest productivity gains की रिपोर्ट करते हैं। व्यापक सहमति है कि ये tools अनुभवी developers और routine tasks के लिए सहायक के रूप में सबसे अच्छे काम करते हैं, और उम्मीद है कि deeper codebase integration तथा stronger correctness guarantees भविष्य में अधिक transformative लाभ दे सकते हैं.

प्रोग्रामिंग के लिए GPT copilots पर समग्र भावना

  • कई लोगों को copilot और chat-आधारित LLMs जटिल या नए programming tasks के लिए कम प्रभावी लगते हैं।
  • इन्हें व्यापक रूप से “autocomplete on steroids” माना जाता है, न कि वास्तविक problem solvers या अनुभवी developers के विकल्प के रूप में।
  • राय “life-changing” से लेकर “बिल्कुल उपयोगी नहीं” तक जाती है, और यह use case, अपेक्षाओं, तथा user skill पर बहुत निर्भर करती है।

जहाँ ये अच्छी तरह काम करते हैं

  • Repetitive / boilerplate code:
    • स्पष्ट patterns को autocompleting करना, समान data structures को map करना, simple functions का scaffolding, basic scripts, और unit tests।
    • Simple SQL queries, shell commands, Docker/Nginx configs, या one-off scripts और data wrangling बनाना।
  • Learning and exploration:
    • त्वरित “मैं Y language/library में X कैसे करूँ?” जैसे प्रश्न।
    • Idiomatic examples प्राप्त करना, documentation की अस्पष्टता दूर करना, या नए frameworks/tech का सारांश।
    • Architectural discussions या अपरिचित domains के लिए एक non-judgmental “rubber duck” की तरह काम करना।
  • Admin / infra tasks:
    • Logs से Linux troubleshooting, basic cloud/devops config, या APIs/tools को समझाना।

जहाँ ये असफल होते हैं या जोखिम भरे हैं

  • जटिल, बड़े पैमाने के, या बहुत नए code:
    • Deep reasoning, architecture, या intricate algorithms में कमजोर; अक्सर compiling-but-wrong या non-compiling code बनाते हैं।
    • Complex SQL, dependency injection के edge cases, specialized libraries, या advanced ML/compilers में संघर्ष करते हैं।
  • Hallucinations और false authority:
    • APIs, methods, या पूरे libraries तक बना लेते हैं; कभी-कभी language या DB features के बारे में confidently गलत होते हैं।
    • बार-बार corrections से गुणवत्ता अक्सर गिरती है; sessions को restart करना एक सामान्य workaround है।
  • Code quality और maintainability:
    • Subtle bugs, security issues, और repetitive non-DRY code का जोखिम।
    • कुछ teams को productivity में कोई बढ़ोतरी नहीं और code खराब मिला; दूसरों को modest boosts (5–40%) दिखे, लेकिन उन्होंने careful review पर जोर दिया।

अनुभव स्तर के अनुसार प्रभाव

  • Experienced devs:
    • सबसे अधिक value तब मिलती है जब वे पहले से जानते हैं कि क्या चाहिए और output की review कर सकते हैं; वे इसे grunt work और research के लिए उपयोग करते हैं।
    • कुछ को काफी अधिक productivity मिलती है; अन्य को केवल मामूली लाभ दिखते हैं।
  • Beginners / non-devs:
    • छोटे projects या scripts ship कर सकते हैं जिन्हें वे otherwise नहीं कर पाते, लेकिन fundamentals कम सीख सकते हैं और errors पहचानने में संघर्ष कर सकते हैं।
    • कई लोग तर्क देते हैं कि true beginners, जो results validate नहीं कर सकते, उनके लिए copilots वास्तव में हानिकारक हो सकते हैं।

Models, quality, और ecosystem की चिंताएँ

  • कुछ लोग रिपोर्ट करते हैं कि GPT‑4, GPT‑4 Turbo और 3.5 से बेहतर है, और समय के साथ perceived quality regressions नोट करते हैं।
  • Context window limits और project को गहराई से न समझ पाना बार-बार की समस्याएँ हैं; whole-codebase context का वादा करने वाले tools अगले promising step के रूप में देखे जाते हैं।
  • Training data, plagiarism, और AI पर corporate overreliance को लेकर नैतिक और कानूनी चिंताएँ, जिनमें hiring और morale पर संभावित प्रभाव शामिल हैं।