Pelicano de Karpathy
Uma demo viral de um modelo de IA gerando uma cena 3D de *O Senhor dos Anéis* a partir de prompts de texto está sendo usada para debater o que torna um benchmark significativo para grandes modelos de linguagem. Os comentaristas contrapõem essa animação 3D “de uma tacada só” a testes SVG anteriores do “pelicano numa bicicleta”, discutindo se essas façanhas mostram progresso real em raciocínio, compreensão espacial e criação de software ou apenas produzem um “slop” cada vez mais polido, porém de baixo valor. Muitos também questionam os custos econômicos, criativos e ambientais de gastar grandes orçamentos de tokens em demos chamativas, e se os sistemas de IA estão perto de construir de forma confiável coisas úteis, divertidas ou robustas em contextos do mundo real.
Novo benchmark: animação 3D de LotR vs. SVG do pelicano
- O tópico gira em torno de substituir o teste SVG do “pelicano numa bicicleta” por um benchmark mais difícil: gerar uma animação em three.js da abertura de O Senhor dos Anéis.
- Alguns consideram isso um teste de estresse melhor: longo, espacial, narrativo, exige código, física e trabalho de câmera — não apenas um desenho estático.
- Outros argumentam que LotR é uma má escolha porque os modelos estão saturados com seu texto e suas imagens, então podem estar copiando os filmes em vez de “entender” a passagem.
Valor e design de benchmarks
- Defensores: novas tarefas devem começar com desempenho terrível e deixar margem de melhora; os SVGs do pelicano já convergiram e discriminam menos.
- Críticos: o pelicano não está “resolvido” (as bicicletas ainda não funcionam), então passar adiante é prematuro e movido pelo apelo de demonstração.
- Vários pedem benchmarks ligados a tarefas do mundo real (auditoria, UIs, backends, máquinas de venda automática), não acrobacias arbitrárias.
Qualidade, criatividade e “AI slop” em jogos/mídia
- Muitos observam que jogos e cenas 3D gerados por IA parecem impressionantes em clipes, mas são chatos, quebrados ou injogáveis; comparados a “demo porn” ou a um “urso dançante”.
- Céticos duvidam que LLMs possam otimizar de forma significativa para “diversão” ou para a sensação criativa de um jogo.
- Alguns veem utilidade clara como assistente de shaders/gráficos/código, não como designer de jogos autônomo.
Entretenimento hiperpersonalizado vs. cultura compartilhada
- Uma corrente imagina filmes/jogos de IA “1:1” a partir de prompts de alto nível (escolha sua própria aventura em escala).
- Outra contesta: a maioria das pessoas não tem desejos específicos por conteúdo personalizado e valoriza experiências coletivas (por exemplo, discutir a mesma franquia juntos).
Capacidades e fraquezas
- Evidências de pontos fortes: geração de cenas não triviais em three.js/WebGL, integrações com Blender, animações procedurais, experimentos de texto→música.
- Fraquezas persistentes: raciocínio espacial (bicicletas, mesas de pinball, impressões 3D), restrições do mundo real e incapacidade de auditar robustamente suas próprias saídas.
- Alguns observam que recusas por direitos autorais são inconsistentes; outros se preocupam com forte dependência de dados de treino icônicos (por exemplo, os filmes de LotR).
Custo, externalidades e o enquadramento “~grátis”
- A narrativa de “~grátis” é contestada: só a demonstração de LotR custou cerca de 1 milhão de tokens (cerca de US$ 10) e se apoia em data centers grandes e intensivos em recursos.
- Impactos ambientais e de infraestrutura local de data centers são levantados como contraponto a tratar execuções grandes como efetivamente gratuitas.
Software e ferramentas descartáveis
- Vários preveem “software descartável”: ferramentas pontuais geradas rapidamente por LLM em vez de produtos polidos.
- Outros argumentam que software durável e mantido ainda é economicamente superior; regeneração constante para sistemas complexos é impraticável e cara em tokens.
Confiança, hype e mensagem
- Alguns comentaristas ficam impressionados com os ganhos rápidos de capacidade; outros veem exagero, marketing corporativo e narrativas mutáveis sobre prazos.
- Há uma tensão contínua entre entusiasmo com as possibilidades e frustração com hype, slop e demos rasos, otimizados para atenção.