Publicar estatísticas falsas, ser citado em LLMs
Um experimento de blog que descreve como um site de US$ 50 com estatísticas fabricadas foi ignorado pelo Google, mas ingerido e citado por modelos de linguagem de grande porte, reacendeu preocupações de que sistemas de IA estejam lavando desinformação em respostas aparentemente autoritárias. Os comentaristas debatem se os LLMs podem algum dia verificar com confiabilidade o conteúdo da web, dadas as incentivos para spam, manipulação de SEO e “envenenamento de dados”, e o quanto isso amplifica problemas antigos de confiança online. As respostas propostas vão desde uma curadoria mais rígida dos dados de treinamento e a dependência de fontes “oficiais” verificadas até um ceticismo social mais amplo em relação a informações geradas por máquina.
Visão geral
- O thread reage a um experimento em que um site com estatísticas totalmente fabricadas foi criado de forma barata e depois citado por LLMs, trabalhos acadêmicos e pesquisas bancárias.
- Principais preocupações: envenenamento de dados, confiança nas respostas de IA, responsabilidade por desinformação e se isso é um problema novo ou uma versão acelerada de problemas antigos.
LLMs e a vulnerabilidade a dados falsos
- Muitos argumentam que os LLMs “não sabem nem se importam” se os dados são falsos; eles fazem correspondência de padrões e apresentam resultados com confiança, sem uma camada epistêmica.
- A verificação de fatos por meio de prompts é vista como não confiável: os modelos podem alucinar que verificaram fontes, confiar demais em conteúdo recente ou popular e ser mais facilmente enganados que humanos, enquanto soam autoritários.
- Alguns observam que os LLMs frequentemente puxam dos principais resultados de busca, incluindo lixo de SEO ou páginas geradas por LLMs, criando loops de retroalimentação (“comendo sua própria porcaria”).
Analogia humana e problemas antigos
- Vários comentários apontam que isso precede os LLMs: spam de SEO, citogênese da Wikipedia, astroturfing, trap streets, avaliações falsas e veículos de baixa qualidade lavando “fatos”.
- Outros destacam que, quando humanos navegam, veem o contexto do site e podem julgar vieses; os LLMs removem esse contexto e reempacotam tudo como expertise neutra.
Ética de publicar estatísticas falsas
- Há forte discordância sobre a moralidade do experimento:
- Críticos chamam isso de mentira, hostil à humanidade, e algo parecido com sabotar o ecossistema de informação só para “provar” uma vulnerabilidade conhecida.
- Defensores dizem que ao menos um caso público e bem documentado é útil para expor a escala do problema.
- Uma minoria vai além, endossando abertamente “envenenar a web” para degradar sistemas de IA, mesmo aceitando danos colaterais.
Possíveis mitigações e limites
- Soluções propostas:
- Corpora de treinamento curados e de alta confiança, evitando a busca na web aberta.
- Conexões diretas com fontes oficiais de dados (por exemplo, agências de estatísticas, documentação de software).
- Melhor pontuação da qualidade das fontes, ponderação ao estilo PageRank, proveniência e RAG com origens rastreáveis.
- Detecção de texto gerado por LLM, embora muitos vejam isso como uma corrida armamentista adversarial.
Efeitos sociais mais amplos e incentivos
- Alguns veem isso como parte de um “mercado de limão do conhecimento”: os incentivos favorecem trapaça e desinformação.
- As opiniões sobre regulação se dividem: de pedidos por aplicação mais forte de leis antifraude/proteção ao consumidor até temores de governos arbitrando a “verdade”.
- Vários preveem queda na confiança em informações online e uma ênfase renovada na leitura cética, em instituições confiáveis ou até em mais interação presencial.