El consejo de la IA hizo que la gente fuera menos precisa pero más segura – estudio
El consejo impulsado por IA parece hacer que la gente sea más confiada pero menos precisa, según un estudio en el que el acceso a un LLM redujo mucho la disposición de los participantes a decir “no lo sé”, incluso cuando el modelo se equivocaba a menudo. Quienes comentan cuestionan el diseño del estudio —argumentando que efectos similares podrían surgir de cualquier fuente con apariencia autoritativa pero defectuosa—, pero en general coinciden en que pone de relieve el sesgo de automatización y la sobreconfianza en la IA. Muchos señalan ejemplos del mundo real, como Reddit, chats de trabajo y foros técnicos, donde los usuarios pegan salidas de IA sin revisar como si fueran suyas, lo que genera preocupaciones sobre el deterioro de la calidad de la información, la pérdida del pensamiento crítico y la necesidad de mejores normas y comportamientos del modelo.
Enlace al estudio y hallazgos básicos
- Quienes comentaron localizaron el preprint real y lo compartieron; algunos prefirieron leerlo directamente en lugar de recurrir a coberturas secundarias.
- Se repitió el resumen titular: el consejo de la IA redujo las respuestas de “no lo sé” y la precisión general, mientras aumentaba la confianza.
- Algunos señalaron que a los participantes se les incentivó económicamente para acertar, y aun así siguieron respuestas erróneas de la IA.
Críticas al diseño y alcance del estudio
- Muchos sostienen que el experimento no aísla nada específicamente “de la IA”: en esencia es “libro abierto con una referencia defectuosa”.
- El modelo usado (Step 3.5 Flash) fue elegido deliberadamente y se le indicó que respondiera mal sobre trivia oscura de películas; los críticos dicen que esto no se parece al uso normal de la IA y sesga fuertemente los resultados.
- Falta un control: no hay comparación con herramientas no basadas en IA (p. ej., un mal libro de texto o malos resultados de búsqueda), así que el efecto podría ser simplemente “sesgo de automatización” genérico.
- Otros responden que sigue siendo relevante: los LLM en efecto son poco fiables en muchas preguntas factuales, y el hallazgo de que “la gente sobreconfía en herramientas con apariencia autoritativa pero erróneas” importa igualmente.
Preguntas sobre realismo y consecuencias
- Las preguntas eran detalles triviales de películas; varias personas dudan de que el comportamiento ante trivialidades de bajo riesgo se traduzca a decisiones reales importantes.
- Otros sugieren que unas apuestas monetarias más altas o advertencias más claras (“esta IA suele equivocarse aquí”) cambiarían el comportamiento y deberían probarse.
Antropomorfización, servilismo y diseño de producto
- Debate sobre cómo el marketing, la interfaz y el estilo “amable y seguro” empujan a la gente a tratar a los LLM como compañeros de trabajo inteligentes en lugar de herramientas falibles.
- Discusión sobre si los humanos inevitablemente tienden a antropomorfizar, o si el diseño y la cultura pueden mitigar eso de forma significativa.
Impacto en el consejo en línea y la cultura
- Hay un fuerte consenso en que los subreddits de consejo/información y algunos foros están inundados de copia y pega sin revisar de LLM, degradando la calidad.
- La gente describe normas emergentes en el trabajo y en comunidades: desalentar volcados brutos de IA, exigir síntesis personal y tratar el texto de IA sin etiquetar como deshonesto o irrespetuoso.
- Preocupa que la bazofia generada por IA retroalimente los datos de entrenamiento, causando una espiral descendente en la calidad de la información.
Preocupaciones más amplias y respuestas propuestas
- Temor a un “Dunning–Kruger asistido por IA”: menos conocimiento, más confianza.
- Sugerencias: evitar usar LLM en contextos críticos para la seguridad, mantener a expertos en el circuito, enfatizar la fundamentación y la verificación, y enseñar a “criticar a la IA” como una habilidad.