Will It Mythos?

मूल लेख ↗ Hacker News चर्चा ↗

बेंचमार्क डिज़ाइन और दायरा

  • कॉर्पस में वे वास्तविक बग शामिल हैं जिन्हें Mythos ने पहले पाया था; अन्य मॉडलों का परीक्षण उन्हीं फ़ाइलों पर किया जाता है।
  • बेंचमार्किंग के दौरान, मॉडलों से कहा जाता है कि वे किसी फ़ाइल का ऑडिट करें (वैकल्पिक repo संदर्भ के साथ), बिना यह बताए कि बग कहाँ है या वह क्या है।
  • एक अधिक शक्तिशाली “जज” मॉडल, जिसे बग का स्थान और विवरण दिया जाता है, यह स्कोर करता है कि क्या प्रतियोगियों ने सही समस्या खोजी और उसे समझाया।
  • लागत सीमाएँ (जैसे, प्रति मॉडल $100) परिणामों को काफ़ी प्रभावित करती हैं; GPT‑5.5‑Pro ने सीमा पर पहुँचने से पहले केवल 4/9 मामलों को ही पूरा किया।
  • बुनियादी टूल्स (read/grep) वाला एक न्यूनतम harness, कम टोकन खर्च करते हुए, समृद्ध “agent” सेटअप जितना अच्छा या उससे बेहतर प्रदर्शन करता है।

सापेक्ष मॉडल प्रदर्शन

  • कोई भी सार्वजनिक मॉडल Mythos के निहित 9/9 प्रदर्शन से मेल नहीं खा सका; शीर्ष गैर‑Mythos मॉडल आम तौर पर 4/9 बग ही खोज पाए।
  • GPT‑5.5‑Pro प्रतिशत के हिसाब से शीर्ष पर दिखाई दिया केवल इसलिए क्योंकि उसने कम केस चलाए, और व्यापक ऑडिट के लिए उसे अवास्तविक रूप से महँगा माना जाता है।
  • Wilson score और समय/लागत का उपयोग करके किए गए बाद के विश्लेषण से, परीक्षण किए गए मॉडलों में DeepSeek‑V4 और MiMo v2.5 Pro को सर्वोत्तम मूल्य वाला माना गया।
  • पुनरावृत्ति रन सुझाव देते हैं कि Gemma 4 31B (dense) अपने आकार के हिसाब से असाधारण रूप से मज़बूत है, कभी‑कभी 6/9 बग खोज लेता है और बड़े मॉडलों को टक्कर देता है।
  • सस्ते चीनी/ओपन मॉडल (DeepSeek, MiMo, Qwen) को वास्तव में प्रतिस्पर्धी माना जा रहा है, सिर्फ़ “benchmaxxed” नहीं।

Mythos/Fable बनाम अन्य मॉडल

  • कई लोगों की राय है कि Fable/Mythos, Opus और अन्य से एक स्पष्ट कदम ऊपर है, खासकर इनमें:
    • सुरक्षा ऑडिटिंग, reverse‑engineering, और सूक्ष्म बग ढूँढने में।
    • spatial reasoning और जटिल गणित/ज्यामिति (जैसे, 6DOF, computational geometry) में।
    • बड़े कोड परिवर्तनों या meta‑applications को स्वायत्त रूप से चलाने में।
  • कुछ उपयोगकर्ताओं को लगता है कि छोटे या कार्य‑विशिष्ट मॉडल (जैसे, Codex, GPT‑5.5) संकीर्ण, अत्यधिक अनुकूलित workloads में Fable से बेहतर प्रदर्शन करते हैं।
  • अन्य लोगों को लगा कि Fable/Mythos का बहुत प्रचार हुआ था या यह केवल मामूली रूप से बेहतर था, विशेषकर जब उच्च token उपयोग को ध्यान में रखा जाए।

Guardrails, सुरक्षा, और “nerfing”

  • इस पर बहस कि क्या Mythos सिर्फ़ safety filters हटाए हुए एक standard model है, या फिर एक अलग fine‑tune के साथ specialized harness और persistence भी है।
  • यह देखा गया कि कुछ Google offerings (Gemini via Antigravity) अब security tasks का प्रतिरोध करती हैं, जबकि Gemma 4 bug‑finding में मज़बूत बनी हुई है।
  • व्यापक धारणा है कि पुराने frontier models (जैसे, Opus 4.6, o4‑mini) समय के साथ degraded हो गए हैं; प्रस्तावित तंत्रों में quantization, reduced reasoning budgets, KV‑cache compression, और MoE expert reduction शामिल हैं।
  • संदेहवादी “nerfing” के दावों की तुलना audiophile placebo से करते हैं; अन्य लोग performance trackers का हवाला देते हैं जो systematic pre‑release drift का सुझाव देते हैं।

उपयोग पैटर्न और व्यापक निहितार्थ

  • कई प्रतिभागी Fable को persistent, goal‑directed काम में बेहतर बताते हैं, लेकिन यह अधिक “agentic” भी है, और कभी‑कभी कोड को अत्यधिक स्वायत्तता से edit कर देता है।
  • कुछ लोग मॉडलों के साथ मानवीय शैली में chat करना पसंद करते हैं, और दावा करते हैं कि इससे बेहतर परिणाम मिलते हैं तथा cognitive mode‑switching कम होता है; दूसरों को चिंता है कि इससे human–machine सीमाएँ धुंधली होती हैं और “AI psychosis” का जोखिम बढ़ता है।
  • Mythos के बारे में मुख्य चिंता: गैर‑विशेषज्ञों को zero‑days खोजने और हथियार बनाने में सक्षम करना, हालांकि रक्षक भी LLMs का उपयोग कमजोरियाँ खोजने और ठीक करने के लिए कर सकते हैं।