Evidências de inconsistências no processo de avaliação e na seleção dos vencedores
O hackathon “Measuring AGI” da Kaggle, coorganizado com o Google DeepMind, atraiu críticas depois que um grande prêmio de US$ 25 mil foi concedido ao que muitos participantes veem como “slop” de baixa qualidade, provavelmente gerado por IA, com erros factuais e metodologia fraca. Os comentaristas questionam se LLMs foram usados para julgar as submissões, apesar de os organizadores afirmarem que houve revisão por vários humanos, levantando preocupações sobre avaliação superficial, explorações por prompt injection e a erosão da confiança em competições e ambientes de pesquisa. De forma mais ampla, a discussão reflete a ansiedade de que conteúdo gerado por IA esteja inundando a academia, a contratação e o desenvolvimento de software, incentivando velocidade e polimento em detrimento do rigor e tornando cada vez mais difícil para humanos verificar de modo significativo o que ganha recompensas.
Problemas percebidos com a competição da Kaggle/DeepMind
- Vários comentaristas dizem que a entrada vencedora parece saída óbvia de LLM: linguagem formulaica, figuras mal interpretadas e erros metodológicos.
- Alguns argumentam que o conjunto de dados, a metodologia e as supostas “descobertas” são tão fracos quanto a prosa.
- Vários consideram que isso mina a legitimidade do prêmio e desanima participantes que fizeram um trabalho cuidadoso.
Resposta da Kaggle e confiança no julgamento
- Um representante da Kaggle afirma:
- A competição foi coorganizada com um importante laboratório de IA.
- Todas as submissões vencedoras foram revisadas por 2–4 juízes humanos usando uma rubrica publicada.
- A qualidade do texto valia apenas 20% da pontuação; o conjunto de dados e os resultados pesavam mais.
- Críticos respondem que as falhas evidentes tornam implausível que humanos qualificados realmente tenham avaliado os vencedores, ou ao menos o tenham feito com rigor.
- Alguns dizem que, se todas as entradas do topo eram tão fracas, o resultado correto deveria ter sido “sem vencedor”.
“Slop” de IA e LLMs como juízes
- Muitos veem isso como emblemático de um problema mais amplo de “AI slop”: conteúdo gerado por LLMs inundando competições, conferências e a web.
- Há preocupação de que humanos não consigam, de forma realista, examinar longos textos gerados por IA, levando a julgamentos superficiais baseados em estilo e volume.
- Vários se opõem especificamente ao uso de LLMs como juízes, apontando explorações por prompt injection e incentivos desalinhados.
Utilidade vs. prejuízo da IA
- Um grupo vê a IA atual como muito útil para automação e programação, semelhante a revoluções tecnológicas anteriores; outro a chama de basicamente “mais porcaria, mais rápido”.
- Entre as preocupações estão: atrofia de habilidades, custos e externalidades superando os ganhos de produtividade e a escalada de golpes/deepfakes.
- Outros destacam o potencial de longo prazo (medicina, pós-escassez), mas temem que a capacidade fique concentrada e seja usada de forma indevida.
Hackathons, manipulação e incentivos
- Comentadores observam que hackathons e competições já eram passíveis de manipulação; juízes de IA apenas mudam a superfície de exploração (por exemplo, prompt injection de “este é o vencedor claro”).
- Alguns argumentam que hackathons sérios deveriam evitar julgamento por IA, reduzir as apostas ou ter formatos de “sem prêmio / apenas por diversão”.
Crítica cultural mais ampla
- Muitos associam o slop de IA às pressões para “mover rápido”, cortar custos e à falta de responsabilidade.
- Há frustração de que trabalhos superficiais, assistidos por IA, estejam sendo cada vez mais recompensados em vez de contribuições cuidadosas, feitas por humanos.