Kimi K3 e o que ainda podemos aprender com o benchmark do pelicano
Um benchmark-joke de longa data — pedir a grandes modelos de linguagem que gerem um SVG de “um pelicano andando de bicicleta” — é usado aqui para avaliar como modelos mais novos, como o Kimi K3 da China, se comparam em criatividade, geração de código, custo e velocidade. Comentadores discutem se o teste foi “envenenado” por aparecer nos dados de treino, quanto ele ainda diz sobre capacidade geral versus overfitting e como seriam benchmarks melhores para tarefas do mundo real (como uso de ferramentas, refatoração de codebases ou planejamento complexo). O fio também aborda economia de modelos e geopolítica, observando o rápido progresso dos laboratórios chineses apesar das limitações de compute e levantando questões sobre a sustentabilidade e a confiabilidade de diferentes provedores de IA.
Natureza e Valor do Benchmark do Pelicano
- Muitos veem a tarefa SVG do “pelicano andando de bicicleta” como um benchmark divertido e pouco rigoroso, que persiste בעיקרamente como uma piada recorrente e um “hello world” compartilhado.
- Outros argumentam que ele ainda testa de forma útil a composição de conceitos novos, habilidades de geração de SVG e o “gosto” ou julgamento estético de um modelo.
- Vários comentaristas acham que ele ficou “contaminado” demais para ser significativo: amplamente divulgado, provavelmente presente nos dados de treino e potencialmente alvo de otimização explícita.
Dados de Treino, Overfitting e Convergência de Estilo
- Debate contínuo sobre se laboratórios treinam intencionalmente com SVGs de pelicanos ou se eles aparecem incidentalmente em grandes rastreamentos da web.
- Alguns relatam que os modelos se saem muito melhor em pelicano na bicicleta do que em prompts igualmente absurdos (por exemplo, preguiça em um skate), sugerindo possível overfitting ou RL específico do benchmark.
- Outros contrapõem que melhorias gerais em SVG e imagem, além de treinamento amplo, podem explicar os ganhos.
- As pessoas observam uma forte convergência estilística: movimento da esquerda para a direita, cores parecidas, aparência cartunesca genérica, mesmo quando o prompt não especifica estilo.
Benchmarks, Custo e Utilidade Prática
- Vários participantes desconfiam de benchmarks de modelos de fronteira em geral, preferindo testes pessoais (por exemplo, geração de vídeo, design web/UX, fluxos de trabalho complexos).
- Há discordância sobre a importância de pequenas diferenças de custo: alguns dizem que uma diferença de 10× no preço por token importa muito em grande escala; outros dizem que tudo é barato comparado ao trabalho humano.
- Sugestões para evoluir benchmarks incluem:
- Tarefas SVG de “criatura-veículo” randomizadas, em vez de um pelicano fixo.
- Tarefas mais realistas (codebases, refatorações, remoção de código morto, ferramentas/agentes de longo horizonte).
- Testes híbridos, como programação no estilo SWE com interrupções ocasionais de SVG.
Modelos Chineses, Escala e Competição
- Kimi K3 é discutido como aproximadamente competitivo com modelos ocidentais de ponta em algumas tarefas, mas mais lento e com ressalvas de idioma e implantação.
- Debate sobre como laboratórios chineses conseguem modelos MoE grandes diante de restrições de compute e financiamento; ideias incluem otimizações arquiteturais, chips domésticos e contornos aos controles de exportação.
- O número de parâmetros por si só é visto como um fraco proxy de qualidade; mecanismos de atenção, tamanho/densidade dos especialistas e RL importam.
Reação da Comunidade e Meta-Discussão
- Alguns usuários gostam da piada recorrente do pelicano e pedem galerias; outros veem posts repetidos como spam ou promoção.
- Vários enfatizam a lei de Goodhart: quando um benchmark fofo vira alvo, seu valor como medida de capacidade geral degrada.