Show HN: Gemini 4 Argon StarCraft खेलता है
Large language models का मूल्यांकन tight one-hour time limit के भीतर StarCraft: Brood War bots लिखवाकर किया जा रहा है, फिर उन bots को स्थापित human-written और RL-trained opponents के सामने खड़ा किया जाता है। Commenters देखते हैं कि ये agents कई games में strategies कैसे adapt करते हैं, वे top bots से कहाँ पीछे रह जाते हैं जो बेहतर micro या long-term learning पर निर्भर हैं, और क्या प्रदर्शन मुख्यतः training data से code recall को दर्शाता है या वास्तविक problem-solving को। यह benchmark व्यापक “agentic” क्षमताओं—planning, experimentation, और logistics—की परीक्षा के रूप में प्रस्तुत है, साथ ही harness design, evaluation formats, और ऐसे परिणामों का अन्य game और coding benchmarks से संबंध भी सवालों के घेरे में आता है.
बेंचमार्क अवधारणा और सेटअप
- LLMs को BWAPI के जरिए StarCraft: Brood War Protoss bots लिखने के लिए लगभग 1 घंटा मिलता है; फिर उन bots का मूल्यांकन multi-tier ladder में किया जाता है।
- समय का दबाव एक उपयोगी constraint माना जाता है, लेकिन कुछ लोगों को यह “असंगत” लगता है क्योंकि यह coding speed, game understanding, strategy, और experimentation को एक ही अपारदर्शी metric में मिला देता है।
- समर्थकों का तर्क है कि यह “end-to-end” शैली एक feature है, ठीक वैसे ही जैसे company revenue या fuel efficiency मापी जाती है।
पारंपरिक bots की तुलना में प्रदर्शन
- LLM से लिखे bots आश्चर्यजनक रूप से अच्छा प्रदर्शन करते हैं, और एक model ने मजबूत A/S-tier Protoss bots को हराया तथा कुछ tiers में >50% win rates हासिल किए।
- शीर्ष self-play RL bot Pluto और बहुत मजबूत scripted bots के खिलाफ win rates single digits तक गिर जाते हैं; खासकर Pluto को बहुत दूर की चीज़ बताया गया है।
- मानव-लिखित bots कुल मिलाकर अभी भी LLM bots को हराते हैं, और शीर्ष human players अभी भी उन मानव-लिखित bots को हराते हैं।
रणनीति, सीखना, और सीमाएँ
- 1‑hour window के दौरान, agents evaluation bots के खिलाफ practice matches खेल सकते हैं (source access के बिना)।
- एक विस्तृत विवरण में बताया गया है कि एक LLM bot किस तरह आगे बढ़ा:
- Solid लेकिन generic macro (1-base Dragoon/Observer, late expansions).
- High-variance all-ins (proxy 2-gate Zealot).
- Exploit-based strategies (Dark Templar into two-base timing with Psionic Storm) जो specific opponent weaknesses के हिसाब से बनाई गईं।
- LLM ज़्यादातर game states को सरल बनाता है और decision points को कम करता है, बजाय इसके कि वह full-game complexity में महारत हासिल करे।
- Pluto के खिलाफ, खराब build orders और macro refinement की कमी सैकड़ों games के बाद भी अनसुलझी रहती है।
Training data, memorization, और “general g”
- कई commenters को चिंता है कि नतीजे शायद training data में मौजूद open-source bots को याद कर लेने का ही परिणाम हों।
- अन्य लोग कहते हैं कि शीर्ष bots बहुत बड़े codebases होते हैं, और साझा किए गए LLM outputs मौजूदा bots जैसे नहीं लगते।
- कई स्वतंत्र game/coding benchmarks (StarCraft, Go, अन्य programming tasks) में वही model ranking order दिखता है, जिसे कुछ लोग general capability factor का प्रमाण मानते हैं, हालांकि दूसरे लोग बताते हैं कि “jagged” weaknesses और खराब judgment अभी भी बने हुए हैं।
APM, human vs AI, और direct play
- Mechanical skill ही एकमात्र bottleneck नहीं है; अच्छे निर्णय raw APM से अधिक महत्वपूर्ण हैं।
- Superhuman micro वाले specialized Brood War ladder bots, अगर उन्हें प्रति मिनट हज़ारों actions की अनुमति हो, तो पहले से ही humans पर हावी हो जाते हैं।
- Frontier LLMs को vision/mouse के जरिए real-time players के रूप में चलाना अभी बहुत धीमा माना जाता है; code-writing benchmarks को अधिक व्यावहारिक समझा जाता है।
डिज़ाइन विकल्प और भविष्य की दिशाएँ
- Complexity कम करने और क्योंकि Protoss bot tooling परिपक्व है, इसलिए Protoss vs Protoss चुना गया।
- कुछ लोग StarCraft 2, अन्य RTS/FPS titles, या neural-network-आधारित training pipelines के लिए समान benchmarks चाहते हैं, जहाँ LLMs छोटे game-specific models डिजाइन और train करें।