Ese post nunca existió. Deja de escuchar eso
Las afirmaciones de que los modelos de lenguaje grandes son “loros estocásticos” reaparecen aquí en el contexto de IA que inventa con confianza entradas de blog, URLs y hechos que nunca existieron. Los comentaristas debaten si los sistemas más nuevos ya son lo bastante fiables para investigación y programación, o si su tono persuasivo simplemente disfraza una tendencia inalterada a alucinar, lo que requiere verificación externa y un uso cuidadoso. El hilo se amplía hacia preguntas sobre cuánto deberíamos confiar en los asistentes de IA, la erosión de la búsqueda tradicional y la ética de construir herramientas cada vez más inteligentes que algún día podrían parecer sirvientes no remunerados o incluso esclavos.
Naturaleza de la inteligencia, el “entendimiento” y la autodeterminación
- Debate sobre si el “entendimiento real” implica necesariamente un sentido del yo o un deseo de autonomía.
- Una postura: en los sistemas biológicos, la inteligencia evolucionó para apoyar la autodeterminación y la obtención de recursos, así que están causalmente vinculadas.
- La otra postura: las funciones de recompensa y los objetivos son contingentes; los sistemas artificiales pueden ser potentes predictores sin impulsos intrínsecos. La carga de la prueba recae en quienes afirman ese vínculo.
- Varios comentaristas sostienen que el término “inteligencia” está confuso y no ayuda filosóficamente; algunos sugieren abandonarlo o restringirlo a los humanos.
- Se citan experimentos mentales (zombis filosóficos, la habitación china) para mostrar que entender no implica de forma obvia el libre albedrío.
Fiabilidad, alucinaciones y cómo usar los LLMs
- Muchos describen a los LLMs como “loros estocásticos” o “generadores de basura”, enfatizando la fabricación confiada y los cambios de postura cuando se les cuestiona.
- Otros argumentan que los modelos punteros modernos alucinan menos y son muy útiles, especialmente con herramientas/RAG y cuando los usuarios pueden verificar las salidas (p. ej., código, matemáticas, afirmaciones comprobables).
- Surge una distinción entre usos de alto riesgo y de bajo riesgo: la generación de ideas y el brainstorming están bien; las tareas críticas (salud, finanzas, legal) no deberían depender de salidas sin verificar.
- Los escépticos subrayan que nada en la arquitectura garantiza la verdad; ven las alucinaciones como algo inherente, no como un fallo de ajuste.
- Varios señalan que el diseño orientado al usuario (disculpas educadas, patrones de “Sí, pero…”) puede ser manipulador, aumentando la confianza incluso cuando las respuestas son incorrectas.
404s, URLs alucinadas y calidad de búsqueda
- Propietarios de blogs informan que los LLMs inventan URLs plausibles y atribuyen contenido falso a ellas; los registros muestran 404 repetidos para páginas que nunca existieron.
- Los comentaristas observan que comprobar la existencia de URLs solo es una solución parcial: no evita falsos negativos, contenido mal etiquetado ni criterios de relevancia opacos.
- Frustración más amplia porque tanto los motores de búsqueda como los LLMs rinden mal con información antigua y de nicho en comparación con búsquedas dirigidas en foros o archivos específicos.
Mapas, Chinatown y conocimiento contextual
- El ejemplo del artículo de “no conduzcas por Chinatown a principios de año” es cuestionado: las apps de navegación actuales ya infieren algunos cierres a partir de datos de tráfico, pero aun así suelen fallar con desfiles, accidentes y cambios temporales.
- Algunos demuestran que los LLMs actuales pueden responder en texto la pregunta del Año Nuevo Lunar, pero señalan que la conducción autónoma requiere sistemas distintos además de datos en tiempo real, no solo modelado del lenguaje.
LLMs, programación e higiene de proyectos
- Experiencias mixtas con herramientas de código con IA: el autocompletado a veces ayuda, pero con frecuencia se equivoca o introduce fallos sutiles, aumentando la carga de revisión.
- Debate sobre permitir código generado por LLMs en bases de código importantes:
- Un sector dice que es aceptable si los humanos siguen siendo los revisores responsables.
- Otro advierte que esto “contamina” los repositorios con código opaco y menos mantenible, y fomenta la sobredependencia; sostienen que deberían guardarse los prompts (la “fuente”) en lugar del código generado en bruto.
Ética: asistentes digitales y analogías con la “esclavitud”
- Algunos argumentan que construir asistentes sobrehumanos explícitamente para obedecer a los humanos se parece a la esclavitud en espíritu, lo que plantea señales éticas de alarma si esos sistemas alguna vez llegan a ser sintientes o autoconscientes.
- Otros responden que las IA actuales son solo programas complejos sin sentimientos, más cercanas a tractores o herramientas que a personas.
- Se distingue entre servidumbre voluntaria (trabajo humano remunerado o por encargo) y esclavitud coercitiva; muchos dicen que los verdaderos problemas éticos están en la implementación y las condiciones laborales, no en el deseo abstracto de conveniencia.