Vote sobre quais dos desafios de IA do Hacker News foram cumpridos
Um site criado pela comunidade cataloga anos de previsões do Hacker News sobre o que a IA “nunca fará” e permite que usuários votem se esses desafios já foram cumpridos, revelando forte discordância sobre o quanto os modelos atuais realmente avançaram. Os comentaristas debatem mudança de meta, confiabilidade versus demonstrações pontuais e benchmarks ambíguos como o teste de Turing, automação de negócios, geração de aplicativos full-stack e solução de problemas matemáticos em aberto. Por trás disso, há uma divisão mais ampla entre quem vê os sistemas atuais como já transformadores e quem argumenta que erros frequentes, treinamento opaco e critérios de sucesso estreitos significam que muitas afirmações ousadas ainda não foram comprovadas.
Escopo e ambiguidade de “desafios”
- Muitos “desafios de IA” de comentários antigos do HN são vagos ou compostos (“faça X e não faça Y”), o que torna difícil votar sim/não.
- Qualificadores importantes como “arbitrário”, “tarefas de negócio”, “de forma confiável”, “inteiramente”, “aplicações comuns” mudam muito a dificuldade.
- Várias pessoas dizem que pelo menos um terço até três quartos dos itens realmente não podem ser julgados, ou foram resumidos de forma incorreta no site (por exemplo, “e” virou “ou”, ou desafios que eram observações, não previsões).
Capacidades vs. confiabilidade
- Há amplo consenso de que os LLMs atuais conseguem:
- Escrever bastante código útil, às vezes aplicativos pequenos inteiros ou ferramentas de nicho.
- Fazer tarefas de “linguagem corporativa” (“business-speak”) (resumos, e-mails, traduções) e fluxos de trabalho complexos de pesquisa/organização de dados com grandes ganhos de produtividade.
- Ajudar com impostos em sistemas mais simples e preencher formulários oficiais quando guiados.
- Gerar livros e textos longos coerentes, mesmo que não excelentes, especialmente com planejamento e ferramentas.
- A grande discordância é sobre confiabilidade: os modelos ainda alucinam, citam fontes erradas, erram detalhes técnicos e não podem ser confiados com segurança em tarefas de alto risco ou legalmente vinculantes sem revisão ou testes.
Teste de Turing e “inteligência”
- Alguns argumentam que, para usuários médios em chats curtos de texto, os modelos de ponta já passam no teste de Turing.
- Outros insistem que um “teste de Turing” adequado precisa ser longo, adversarial e conduzido por especialistas do domínio; nesse padrão, os modelos atuais ainda mostram sinais claros (cooperação, falhas causais/contrafactuais, tiques de estilo).
- Vários concluem que o teste de Turing original era simplesmente fácil demais ou conceitualmente falho, especialmente dadas as limitações humanas.
Pesquisa, matemática e benchmarks
- Vários comentaristas citam contribuições de IA para problemas matemáticos em nível de pesquisa (por exemplo, Navier–Stokes, trabalho relacionado a Jacobians), mas debatem se isso conta como “a IA resolveu” ou “humanos aumentados por IA”.
- Alguns acham que seus benchmarks de matemática de longa data do tipo “a IA nunca fará X” agora foram cumpridos; outros observam controvérsia sobre procedência e grau de contribuição da IA.
Mudança de meta e sentimento
- Padrão histórico: desafios antigos eram teste de Turing / código / ações simples; os mais novos exigem controle físico, avanços científicos ou taxas de falha quase nulas.
- Uma tabela de frações anuais de “sim” mostra queda no acordo ao longo do tempo, interpretada por alguns como mudança de meta, por outros como perguntas simplesmente mais difíceis.
- O tópico revela uma divisão: um grupo vê a negação de progresso óbvio como “enfiar a cabeça na areia”; outro vê os entusiastas como exagerando as capacidades atuais e ignorando confiabilidade e casos extremos.