GPT-4, बिना विशेषीकृत प्रशिक्षण के, $10M लागत वाले GPT-3.5-श्रेणी के मॉडल को पछाड़ गया

मूल लेख ↗ Hacker News चर्चा ↗

GPT-4 बनाम $10M फ़ाइनेंस मॉडल

  • कई लोगों को यह आश्चर्यजनक नहीं लगता कि एक बहुत बड़ा सामान्य मॉडल (GPT-4) व्यापक वित्तीय समझ में एक छोटे, महंगे, डोमेन-विशिष्ट मॉडल से बेहतर प्रदर्शन करता है।
  • इस परिणाम को “scaling laws” और “bitter lesson” के एक उदाहरण के रूप में देखा जाता है: अधिक compute और सामान्य प्रशिक्षण अक्सर हाथ से बनाई गई विशेषज्ञता को मात देते हैं।
  • कुछ लोग सावधानियाँ भी बताते हैं: GPT-4 का training data और fine-tuning अस्पष्ट हैं, इसलिए “कोई विशेषीकृत वित्तीय प्रशिक्षण नहीं” जैसे दावे सत्यापित करना कठिन है।
  • वित्तीय benchmark मुख्यतः किसी विशिष्ट डोमेन में reading comprehension को मापता है; GPT-4, specific labels वाले NER जैसे अधिक संकीर्ण कार्यों में finetuned मॉडल से पीछे रहता है।

क्या GPT-4 को कुछ मात देता है?

  • अनुभव मिश्रित हैं: कुछ उपयोगकर्ता कहते हैं कि Claude 3 Opus या Mistral-large, विशेष coding या programming कार्यों में GPT-4 से बेहतर हैं; जबकि अन्य को GPT-4 अधिक विश्वसनीय लगता है।
  • Chatbot Arena rankings का हवाला दिया जाता है, जिनमें GPT-4, Claude 3 Opus से बहुत थोड़ा आगे दिखता है, लेकिन अंतर छोटे हैं।
  • उपयोगकर्ता इस बात पर ज़ोर देते हैं कि प्रदर्शन कार्य, prompt शैली, और आसपास के tools के अनुसार बदलता है।

Tooling बनाम Model क्षमताएँ

  • “Python लिखो और चलाओ” जैसी सुविधाएँ tooling (system prompts + code execution environment) से जुड़ी मानी जाती हैं, न कि मॉडल की जन्मजात समझ से।
  • Claude का web UI फिलहाल Code Interpreter-शैली का tool नहीं देता, जिससे कुछ लोग math में कमजोरी को मॉडल की बजाय missing infrastructure से जोड़कर गलत निष्कर्ष निकालते हैं।

Foundation Models, Fine-Tuning, और Scaling

  • इस बात पर बहस कि क्या ChatGPT/GPT-4 एक “foundation model” है या बहुत अधिक fine-tuned derivative, और परिणामों की व्याख्या में इसका कितना महत्व है।
  • कई लोगों का तर्क है कि बड़े, सामान्य मॉडल आमतौर पर छोटे specialist मॉडलों से बेहतर होंगे, लेकिन भविष्य में finely tuned GPT‑4-श्रेणी के मॉडल और भी बेहतर प्रदर्शन कर सकते हैं।

Prompting बनाम Fine-Tuning

  • एक मजबूत दावा: आधुनिक LLMs पर अच्छे उदाहरणों के साथ few-shot prompting अक्सर fine-tuning से बेहतर होता है, खासकर कम input-token लागत को देखते हुए।
  • दूसरों का तर्क है कि संकीर्ण कार्यों (जैसे niche programming languages, robotics) के लिए fine-tuning आवश्यक है और उन डोमेनों में GPT‑4 से काफ़ी बेहतर प्रदर्शन कर सकता है।
  • चिंता यह है कि naïve fine-tuning मॉडलों को “lobotomize” कर सकता है या catastrophic forgetting पैदा कर सकता है, विशेषकर छोटे मॉडलों में।

RAG, Context Windows, और Private Data

  • कुछ लोग कहते हैं कि बड़े context windows के साथ RAG अप्रासंगिक होता जा रहा है; अन्य लोग लाखों tokens के दस्तावेज़ों के ठोस उदाहरण देकर जवाब देते हैं, जहाँ RAG अभी भी आवश्यक है।
  • बड़ा context chunking की जटिलता कम कर सकता है, लेकिन cost, latency, और irrelevant/noise की समस्याएँ बनी रहती हैं।
  • निजी या बार-बार अपडेट होने वाले डेटा के लिए भी RAG को महत्वपूर्ण माना जाता है, जो training sets में नहीं रह सकता।

लागत, व्यावहारिकता, और Startup रणनीति

  • इस बात पर मतभेद है कि क्या fine-tuning “trivial” है: आधुनिक tools के साथ यांत्रिक रूप से आसान, लेकिन उपयोगी परिणाम पाना कठिन और त्रुटिपूर्ण बताया जाता है।
  • दावे सामने आते हैं कि सस्ते LoRA/QLoRA fine-tunes, विशिष्ट डोमेनों में बहुत कम inference लागत पर GPT‑4-जैसा प्रदर्शन दे सकते हैं; अन्य टिप्पणीकार ठोस सबूत माँगते हैं।
  • कई practitioners अधिकांश कंपनियों को सलाह देते हैं कि वे अपने base models न train करें और इसके बजाय prompt engineering, RAG, तथा commodity LLMs को वास्तविक products में integrate करने पर ध्यान दें।
  • अन्य लोग तर्क देते हैं कि fine-tuning को खारिज करना दूरदर्शी नहीं है, विशेषकर robotics और उच्च-विशेषज्ञता वाले डोमेनों में।