OpenAI GPT-4 बनाम Groq Mistral-8x7B

मूल लेख ↗ Hacker News चर्चा ↗

“N/A” का अर्थ

  • कई टिप्पणियों में यह बहस होती है कि “N/A” का मतलब “not available” है या “not applicable.”
  • कुछ लोग तर्क देते हैं कि “not applicable” मानक है (शब्दकोशों द्वारा समर्थित), जबकि अन्य कहते हैं कि उन्होंने इसे हमेशा “not available” के रूप में इस्तेमाल किया है।
  • निष्कर्ष: व्यवहार में यह शब्द दो अर्थों में इस्तेमाल होता है और अक्सर बस “यहाँ कोई मान नहीं” का मतलब देता है, चाहे आप कोई भी शब्दावली पसंद करें।

सटीकता बनाम गति और भ्रमपूर्ण उत्तर

  • कई लोग इस बात पर ज़ोर देते हैं कि उच्च-दांव वाले कार्यों में गति से कहीं अधिक महत्वपूर्ण सही होना है।
  • उदाहरणों में एक “not” का गायब होना किसी महत्वपूर्ण पैरामीटर को पूरी तरह बदल देना, या बार-बार आत्मविश्वास से दिए गए भ्रमपूर्ण उत्तर शामिल हैं।
  • कई प्रतिक्रियाएँ कहती हैं कि अगर कोई LLM किसी तथ्य को नहीं जानता, तो और अधिक sampling से समस्या ठीक नहीं होगी; इसके लिए ensembles या retrieval की ज़रूरत है।
  • अन्य लोग नोट करते हैं कि मॉडल चुनौती दिए जाने पर अक्सर अपने उत्तर बदल देते हैं, भले ही वे पहले सही हों, इसलिए साधारण prompt के जरिए “self-checking” भरोसेमंद नहीं है।

Retrieval-Augmented और Hybrid तरीके

  • RAG (LLM + external data source) को सीमित context और तथ्यात्मक खामियों को कम करने का मानक तरीका बताया गया है, लेकिन इसे brittle भी कहा गया है।
  • कुछ लोग तर्क देते हैं कि मौजूदा LLMs “facts vs grammar” में अंतर नहीं कर पाते, जिससे यह तय करना मुश्किल हो जाता है कि कब उन्हें जानकारी खोजनी चाहिए।

HTML Parsing और Scraping के लिए LLMs

  • कई लोग HTML जैसे structured formats को parse करने के लिए LLMs के उपयोग को लेकर संशय में हैं, और इसे धीमा, महँगा, non-deterministic, तथा hallucinations के प्रति संवेदनशील बताते हैं।
  • सुझाए गए विकल्प:
    • LLMs का उपयोग deterministic parsers/selectors बनाने या अपडेट करने के लिए करें।
    • LLMs का उपयोग केवल वहाँ करें जहाँ HTML बहुत बदलता रहता है और human maintenance महँगी हो।
  • कई लोग कहते हैं कि benchmark prompt पर्याप्त रूप से विशिष्ट नहीं है; बेहतर नतीजे मिलेंगे अगर:
    • एक समय में एक ही field निकाली जाए।
    • एक ही step में पूरा JSON न माँगा जाए।
    • clever wording की बजाय system/“character” setup और workflow में अधिक निवेश किया जाए।

Groq, Hardware, और Performance

  • Groq की गति को custom chips और Mixtral की sparse Mixture-of-Experts architecture से जोड़ा गया है, जिसमें कई chips को नेटवर्क के जरिए जोड़ा जाता है।
  • टिप्पणीकार वास्तविक दुनिया की economics और scalability (memory footprint, multiple models, continuous uptime) को लेकर GPUs की तुलना में सवाल उठाते हैं।

GPT-5 और प्रतिस्पर्धा

  • कुछ लोग अनुमान लगाते हैं कि OpenAI market dominance और incremental gains के कारण GPT-5 में देरी कर सकता है; दूसरे मानते हैं कि Claude और अन्य प्रतिस्पर्धियों से यह बढ़त कम हो रही है।
  • अगली बड़ी छलांग कितनी बड़ी होगी, इस पर मतभेद है; सुधारों की उम्मीद है, लेकिन यह ज़रूरी नहीं कि वे बहुत नाटकीय हों।

ऊर्जा उपयोग और नैतिकता

  • यह चिंता उठाई गई कि ऐसे काम के लिए बड़ी मात्रा में compute जलाया जा रहा है जिसे पारंपरिक parsers आसानी से संभाल सकते हैं।
  • जवाब में कहा गया कि AI की व्यापक व्यावहारिक उपयोगिता है, जबकि proof-of-work crypto को बेकार माना जाता है; efficiency बेहतर हो रही है, और economics पहले से ही कम-ऊर्जा तरीकों को प्रोत्साहित करते हैं।