A inteligência artificial agora supera alguns dos melhores previsores humanos
Sistemas de inteligência artificial agora estão superando alguns dos melhores previsores humanos em benchmarks de previsão geopolítica e de eventos, o que gera debate sobre o quão significativo é essa vantagem e por quanto tempo ela pode durar quando os modelos passam a influenciar os sistemas que preveem. Comentadores exploram implicações para os mercados financeiros, de negociações orientadas por LLMs e esquemas de envenenamento de dados até questões sobre se a previsão melhor que a do mercado pode continuar lucrativa quando se torna amplamente conhecida. Outros destacam usos de longa data de previsão estatística e de aprendizado de máquina, limites em torno de mudanças de regime e eventos disruptivos, e a probabilidade de que os resultados mais fortes venham de humanos e ferramentas de IA trabalhando juntos.
Escopo de “IA” e novidade dos resultados
- Vários comentadores argumentam que “IA vencendo previsores humanos” não é novidade, já que modelos estatísticos e de ML são usados há décadas.
- Há debate sobre definições: alguns equiparam previsão, modelagem, estatística e IA; outros insistem que julgamento humano e “inteligência” são distintos e que rotular toda modelagem como IA é enganoso.
- Outros contra-argumentam que a previsão julgamental baseada em LLMs (eventos geopolíticos pontuais, etc.) é um problema diferente dos modelos clássicos de séries temporais e é um passo significativo.
Competições de previsão e habilidade vs. sorte
- Surgem preocupações de que concursos possam superestimar a habilidade por causa da aleatoriedade (por exemplo, a analogia com cara ou coroa).
- Contra-argumento: participantes fornecem previsões probabilísticas para muitas perguntas, mais parecido com estimar moedas viciadas; a sorte diminui à medida que o número de perguntas cresce.
- Alguns observam o quão surpreendentemente bons são os melhores “superforecasters” humanos e os mercados de previsão, sugerindo que o mundo é mais previsível do que poderia ser.
- Outros notam que os modelos de IA atuais conseguem superar os melhores humanos em tais concursos, mais cedo do que muitos esperavam.
Mercados, negociação e estratégias orientadas por LLMs
- Várias ideias especulativas de produto:
- Modelos prevendo como LLMs “mainline” orientarão investidores de varejo, e então negociando antes deles.
- Modelos prevendo tendências em ciência, política ou nomes de bebês com base na influência dos LLMs.
- Discussão sobre negociação de alta frequência: vista por alguns como “roubo”, por outros como “fornecer liquidez”, mas geralmente reconhecida como uma corrida armamentista em forma de jogo.
- Comentários destacam que sistemas melhores que o mercado deixam de funcionar assim que se tornam públicos; overfitting e respostas adversariais do mercado são problemas importantes.
- Fazer engenharia reversa de fundos quant de elite (por exemplo, no estilo Medallion) é visto como muito difícil devido a dados ocultos, dark pools e à fragilidade dos modelos sob interação real com o mercado.
Limites, instabilidade e mudança de regime
- Vários observam que as previsões são extremamente sensíveis às escolhas de modelagem e que permanece uma grande variação não modelada.
- A IA é vista como fraca para prever grandes mudanças disruptivas de regime (por exemplo, mudanças climáticas, grandes rupturas estruturais).
- A reflexividade é enfatizada: uma vez que as previsões afetam o comportamento, elas podem se invalidar, e LLMs podem “derreter” nesses ciclos de feedback.
- Há preocupação de que negociação e aconselhamento orientados por IA possam alterar a dinâmica dos mercados e contribuir para novas formas de falha sistêmica ou “contágio de alucinação”.
Colaboração humano–IA e perspectivas
- Alguns esperam os melhores resultados de humanos trabalhando com IA, em vez de uma simples substituição.
- Outros são céticos de que isso seja garantido, enquadrando-o como uma suposição não comprovada, e não um fato स्थापितcido.