Show HN: Jev Joga Pokémon Red
Uma demo de IA mostra um modelo leve de “system one” chamado Jev jogando Pokémon Red por meio de um harness altamente engenheirado que cuida de pathfinding e objetivos de alto nível, enquanto Jev toma decisões rápidas e baratas em pontos-chave. Os espectadores acham o resultado divertido, mas observam que Jev frequentemente faz escolhas ruins ou entra em loops, o que gera debate sobre o quão inteligente ele realmente é versus o quanto a estrutura roteirizada sustenta a experiência. O projeto é apresentado como um primeiro vislumbre de modelos de decisão de altíssima baixa latência e baixo custo para automação, com muitos sugerindo que combinar esses modelos com LLMs mais lentos e capazes pode ser uma abordagem mais poderosa e geral.
Configuração da demo e design do harness
- Jev controla Pokémon Red por meio de um “harness” em TypeScript conectado diretamente ao ROM, e não apenas por pressionamentos brutos de botões.
- O harness fornece ações de nível mais alto (por exemplo, mover para coordenadas, seguir um caminho, selecionar em menus) e uma série de ~33 objetivos de alto nível, além de subobjetivos, para concluir o jogo.
- Grande parte da lógica é hard-coded: pathfinding, marcos textuais, contexto seletivo e algum tratamento de menus/itens. Vários comentaristas argumentam que isso faz com que ele se pareça mais com um walkthrough roteirizado com Jev como uma fonte estocástica de decisões.
- O autor reconhece explicitamente a forte orientação e publicou o código como open source.
Desempenho, latência e custo
- A execução já alcançou pelo menos quatro insígnias e avançou profundamente na Elite Four por menos de cerca de US$0,50–US$2 em tokens, dependendo do resultado final.
- Jev é elogiado por ser rápido e barato em comparação com LLMs de fronteira, permitindo decisões em “velocidade de interação”.
Qualidade das decisões e limitações
- Os espectadores acham divertido e “tranquilo” assistir, mas observam escolhas ruins frequentes: ficar preso em loops (portas, menus, esconderijo da Rocket), desperdiçar tempo com TMs/HMs e escolhas de golpes questionáveis (por exemplo, esquecer golpes-chave).
- Ele tem dificuldade com planos complexos e de várias etapas (por exemplo, preparar-se e obter recursos adequadamente para a Elite Four).
- Uma configuração mais minimalista, sem pathfinding ou contexto extra, supostamente nem conseguiu chegar ao Pokémon inicial.
Papel do modelo: classificador de “System one”
- Jev é descrito como um modelo rápido, barato e de decisão/classificação em uma única passada, e não como um agente de raciocínio completo ou um sistema de RL.
- Alguns o veem como um promissor “system one” a ser combinado com LLMs mais lentos de “system two” para planejamento, escalonamento e recuperação.
- Outros argumentam que suas capacidades estão sendo superestimadas, comparando-o a RNG sofisticado, IAs de jogos pré-LLM ou classificadores tradicionais/métodos zero-shot.
Ideias mais amplas e direções futuras
- Entre as sugestões estão combinar Jev com LLMs de fronteira para estratégia de alto nível, usar entradas visuais para controle genérico de jogos e aplicar modelos de decisão semelhantes em domínios como triagem de alertas de segurança ou SPC de manufatura.
- Alguns comentaristas estão empolgados com o conceito mais amplo de modelos de decisão rápidos, de propósito geral e sem treinamento; outros enfatizam que os níveis atuais de inteligência ainda estão longe de substituir modelos específicos de domínio ou de fronteira.