Publica estadísticas falsas, te citan en los LLMs
Un experimento de un blog que describe cómo un sitio web de 50 dólares con estadísticas inventadas fue ignorado por Google pero ingerido y citado por grandes modelos de lenguaje ha reavivado las preocupaciones sobre cómo los sistemas de IA blanquean la desinformación en respuestas aparentemente autorizadas. Los comentaristas debaten si los LLMs pueden alguna vez verificar de forma fiable el contenido web, dadas las ventajas del spam, la manipulación del SEO y el “envenenamiento de datos”, y hasta qué punto esto amplifica problemas de larga data de confianza en línea. Las respuestas propuestas van desde una curación más estricta de los datos de entrenamiento y la dependencia de fuentes “oficiales” verificadas hasta un escepticismo social más amplio hacia la información generada por máquinas.
Resumen general
- El hilo reacciona a un experimento en el que se creó baratamente un sitio con estadísticas totalmente inventadas y luego fue citado por LLMs, trabajos académicos e investigaciones bancarias.
- Preocupaciones centrales: envenenamiento de datos, confianza en las respuestas de la IA, responsabilidad por la desinformación y si se trata de un problema nuevo o de una versión acelerada de problemas antiguos.
LLMs y la vulnerabilidad a datos falsos
- Muchos sostienen que los LLMs “no saben ni les importa” si los datos son falsos; detectan patrones y presentan resultados con seguridad sin una capa epistemológica.
- La verificación de hechos mediante prompts se considera poco fiable: los modelos pueden alucinar haber comprobado fuentes, confiar demasiado en contenido reciente o popular y dejarse engañar más fácilmente que los humanos, aunque suenen autoritativos.
- Algunos señalan que los LLMs suelen extraer de los primeros resultados de búsqueda, incluidos el spam SEO o páginas generadas por LLMs, creando bucles de retroalimentación (“comiéndose su propia mierda”).
Analogía humana y viejos problemas
- Varios comentarios señalan que esto precede a los LLMs: spam SEO, citogénesis en Wikipedia, astroturfing, trap streets, reseñas falsas y medios de baja calidad que blanquean “hechos”.
- Otros subrayan que, cuando los humanos navegan, ven el contexto del sitio y pueden juzgar sesgos; los LLMs eliminan ese contexto y reempaquetan todo como experiencia neutral.
Ética de publicar estadísticas falsas
- Hay un fuerte desacuerdo sobre la moralidad del experimento:
- Los críticos lo llaman mentir, hostil a la humanidad y algo parecido a sabotear el ecosistema de la información solo para “demostrar” una vulnerabilidad ya conocida.
- Sus defensores dicen que al menos un caso público y bien documentado es útil para mostrar la magnitud del problema.
- Una minoría va más allá y apoya abiertamente “envenenar la web” para degradar los sistemas de IA, aceptando incluso daños colaterales.
Posibles mitigaciones y límites
- Soluciones propuestas:
- Corpus de entrenamiento curados y de alta confianza, evitando la búsqueda en la web abierta.
- Conexiones directas a fuentes oficiales de datos (por ejemplo, agencias de estadística, documentación de software).
- Mejor puntuación de la calidad de las fuentes, ponderación tipo PageRank, procedencia y RAG con orígenes trazables.
- Detección de texto generado por LLM, aunque muchos ven esto como una carrera armamentística adversarial.
Efectos sociales más amplios e incentivos
- Algunos lo ven como parte de un “mercado de limones del conocimiento”: los incentivos favorecen el fraude y la desinformación.
- Las opiniones sobre la regulación se dividen: desde pedir una aplicación más fuerte de las normas contra el fraude y la protección del consumidor hasta temer que los gobiernos arbitren la “verdad”.
- Varios predicen una caída de la confianza en la información en línea y un renovado énfasis en la lectura escéptica, las instituciones de confianza o incluso una mayor interacción cara a cara.