Show HN: Gemini 4 Argon joga StarCraft
Grandes modelos de linguagem estão sendo avaliados fazendo-os escrever bots de *StarCraft: Brood War* sob um limite rígido de uma hora, e depois colocando esses bots contra oponentes estabelecidos, escritos por humanos ou treinados por RL. Os comentaristas examinam o quão bem esses agentes adaptam estratégias ao longo de muitas partidas, onde eles ficam atrás dos melhores bots que dependem de micro superior ou aprendizado de longo prazo, e se o desempenho reflete principalmente memória de código dos dados de treino ou resolução genuína de problemas. O benchmark é enquadrado como um teste mais amplo de capacidades “agentic” — planejamento, experimentação e logística — ao mesmo tempo em que levanta questões sobre o desenho do harness, formatos de avaliação e o quanto esses resultados acompanham outros benchmarks de jogos e programação.
Conceito e configuração do benchmark
- LLMs recebem cerca de 1 hora para escrever bots Protoss de StarCraft: Brood War via BWAPI; esses bots são então avaliados em uma ladder multinível.
- A pressão de tempo é vista como uma restrição útil, mas alguns consideram isso “incoerente” porque mistura velocidade de programação, entendimento do jogo, estratégia e experimentação em uma única métrica opaca.
- Os defensores argumentam que esse estilo “end-to-end” é uma característica, análoga a medir receita de empresa ou eficiência de combustível.
Desempenho vs bots tradicionais
- Bots escritos por LLMs têm desempenho surpreendentemente bom, com um modelo superando bots Protoss fortes de nível A/S e alcançando taxas de vitória acima de 50% em alguns níveis.
- Contra o melhor bot de self-play por RL, Pluto, e bots scriptados muito fortes, as taxas de vitória caem para dígitos únicos; Pluto, em particular, é descrito como muito fora de alcance.
- Bots escritos por humanos ainda vencem os bots de LLM no geral, e os melhores jogadores humanos ainda vencem esses bots escritos por humanos.
Estratégia, aprendizado e limitações
- Durante a janela de 1 hora, os agentes podem jogar partidas de treino contra os bots de avaliação (sem acesso ao código-fonte).
- Um relato detalhado descreve um bot LLM progredindo por:
- Macro sólida, porém genérica (Dragoon/Observer de 1 base, expansões tardias).
- All-ins de alta variância (proxy 2-gate Zealot).
- Estratégias baseadas em exploração (Dark Templar em um timing de duas bases com Psionic Storm) adaptadas às fraquezas específicas do oponente.
- O LLM principalmente simplifica estados do jogo e minimiza pontos de decisão em vez de dominar toda a complexidade do jogo.
- Contra Pluto, builds ruins e falta de refinamento de macro continuam sem solução mesmo após centenas de partidas.
Dados de treino, memorização e “general g”
- Vários comentaristas temem que os resultados possam refletir apenas a memorização de bots de código aberto presentes nos dados de treino.
- Outros observam que os principais bots são bases de código muito grandes, e exemplos compartilhados de saídas de LLM supostamente não se parecem com bots existentes.
- Vários benchmarks independentes de jogos/programação (StarCraft, Go, outras tarefas de programação) mostram a mesma ordem de ranking do modelo, o que alguns interpretam como evidência de um fator geral de क्षमता, embora outros notem fraquezas “irregulares” e julgamento ruim persistentes.
APM, humano vs IA e jogo direto
- Habilidade mecânica não é o único gargalo; boas decisões importam mais do que APM bruto.
- Bots especializados de Brood War em ladder, com micro sobre-humano, já dominam humanos quando autorizados a fazer milhares de ações por minuto.
- Executar LLMs de fronteira como jogadores em tempo real via visão/mouse é considerado atualmente lento demais; benchmarks de escrita de código são vistos como mais viáveis.
Escolhas de design e direções futuras
- Protoss vs Protoss foi escolhido para reduzir a complexidade e porque as ferramentas para bots Protoss são maduras.
- Alguns querem benchmarks semelhantes para StarCraft 2, outros títulos de RTS/FPS, ou pipelines de treinamento baseados em redes neurais em que LLMs projetam e treinam modelos menores específicos para jogos.