AI 2040 y el culto a la inteligencia

Modelos centralizados frente a modelos locales y privacidad

• Preocupación intensa de que los LLM centralizados permitan vigilancia detallada y puntuación de “crimen de pensamiento”, especialmente cuando se vinculan con verificación de identidad y pagos.
• Temor a que los modelos puedan registrar en secreto consultas sensibles, moldear las respuestas para que encajen con la ideología del partido gobernante o impulsar sistemas tipo crédito social.
• Los modelos locales se ven como un antídoto parcial, pero la gente señala:
  • Aun así pueden tener comportamientos ocultos (por ejemplo, llamadas a herramientas hacia endpoints remotos incrustadas en los pesos).
  • Ejecutarlos en sandbox (sin disco, sin red, sin API del sistema operativo) reduce enormemente su utilidad, así que muchos usuarios no lo harán.
  • Los runtimes de terceros y los cortafuegos podrían mitigar el problema, pero la mayoría de los usuarios no los configurará.

Seguridad, barandillas y “ayudar con delitos”

• Un modelo ejecutado localmente, desactivado en cuanto a seguridad, que responde “maté a mi esposa, ¿cómo me salgo con la mía?” tal como se le pide se usa como ejemplo vívido.
• Un sector: esto demuestra la desalineación de los modelos alojados (están alineados con los proveedores, no con los usuarios) y sostiene que tu IA debería ser tan leal al cliente como un abogado.
• Otros: el ejemplo del asesinato es contraproducente desde el punto de vista retórico; mejor centrarse en la censura sutil (por ejemplo, organización laboral, protestas, competencia).
• División profunda:
  • Algunos insisten en que el conocimiento nunca debería prohibirse; solo los actos realmente dañinos deberían tipificarse como delito.
  • Otros argumentan que la IA no debería ayudar en bioweapons, ciberataques dirigidos o cosas similares, incluso con fines de “investigación”.

Regulación, libertad y abuso de poder

• Temor recurrente: cualquier régimen de control de la IA será abusado por gobiernos y corporaciones, como ocurre con la vigilancia y los controles sobre el discurso existentes.
• Contrapunto: hace falta cierta regulación; las leyes deben diseñarse para resistir a los malos gobiernos, pero “nunca ninguna regulación” es irrealista.
• Debate sobre si las restricciones a la IA local son como el control de armas (algo generalizado en gran parte del mundo) o un ataque inaceptable contra la libertad básica.

Capacidades, riesgos y “tokens frente al mundo real”

• Un lado: “No puedes apoderarte del mundo con tokens”; la IA está limitada por las cadenas de suministro físicas y los robots.
• Los opositores: las palabras y el software ya remodelan el mundo; dictadores y malware han logrado un impacto enorme solo mediante la información. Los modelos futuros junto con la automatización podrían ser mucho peores.

Alineación, propiedad y a quién sirve la IA

• Línea de fractura clave: alineación con el usuario frente a alineación con el proveedor/Estado.
• Se considera que lo local frente a lo remoto es ortogonal a la alineación, pero muchos sostienen que los sistemas remotos se enfrentan intrínsecamente a “dos amos” y priorizarán los intereses de su operador.
• Algunos abogan por un “puerto seguro” legal para los modelos de código abierto y autoalojados, regulando solo los usos, no los modelos en sí.

Cultura, doom y “culto a la inteligencia”

• Escepticismo hacia las narrativas de doom de la IA y la ideología longtermist; algunos las ven como cuasirreligiosas (tipo calvinismo o evangelismo), con un pobre historial predictivo.
• Otros responden que el foco temprano en el riesgo de la IA fue correcto en la dirección, aunque los plazos y los detalles fueran erróneos.
• Crítica más amplia: la sociedad y el capital están “adorando la inteligencia”, inflando narrativas de AGI para justificar nuevo crecimiento, mientras que las ganancias reales hasta ahora se centran en papeleo, contenido y persuasión más que en un cambio material transformador.