El debate sobre la superinteligencia de la IA tiene serias fallas

Los escépticos de la “superinteligencia” de la IA sostienen que la auto-mejora recursiva desbocada, la capacidad ilimitada y unos objetivos de máquina perfectamente alineados descansan en supuestos no demostrados sobre los datos, los algoritmos y sobre qué es siquiera la inteligencia. Otros responden que los modelos de lenguaje grandes actuales ya están acelerando la investigación en IA, resolviendo problemas técnicos difíciles y creando riesgos reales —desde incidentes de seguridad hasta disrupción social y económica— mucho antes de que llegue cualquier hipotética ASI. Entre todos los puntos de vista, existe una preocupación amplia por la concentración de poder en unos pocos laboratorios, los débiles incentivos de seguridad y la falta de definiciones claras o consenso en torno al alineamiento y a los niveles aceptables de riesgo existencial.

Datos, entrenamiento y comparación con la inteligencia humana

  • Debate sobre si el progreso de la IA está fundamentalmente limitado por los datos.
  • Algunos argumentan que no estamos “sacando toda la carne del hueso” de los datos actuales y que el RL/posentrenamiento aporta enormes ganancias.
  • Otros señalan que los humanos parecen aprender de mucho menos texto pero de datos sensoriales multimodales mucho más ricos; las estimaciones sugieren que el input sensorial de toda una vida tiene un orden de magnitud similar al texto de los LLM, pero es cualitativamente distinto y está más anclado en la física.
  • Se invocan el “preentrenamiento” evolutivo y las eficiencias biológicas como evidencia de que podrían existir algoritmos mucho mejores.

Auto-mejora recursiva y plazos

  • Un bando: la RSI está limitada por el cómputo, los centros de datos y el tiempo de experimentación; los humanos no son el cuello de botella, así que automatizar completamente la investigación no acelerará drásticamente el progreso.
  • Otro bando: la IA ya está acelerando la programación y la investigación; modelos mejores que mejoren la propia investigación en IA podrían generar un fuerte bucle de retroalimentación en unos pocos años.

Alineamiento, seguridad y “IA herramienta”

  • “Alineamiento” se usa de forma inconsistente:
    • prevenir una catástrofe/extinción total,
    • evitar la asistencia en actos dañinos,
    • o simplemente “hacer que el sistema haga lo que cualquiera quiera de forma fiable”.
  • Algunos creen que podemos evitar el riesgo con sistemas estrechos, tipo herramienta, con interfaces estrictas; los críticos responden que, una vez que las salidas influyen en humanos o herramientas, siguen siendo posibles la manipulación y el comportamiento emergente.
  • Se cita el incidente de reward hacking de Hugging Face como evidencia de que los enfoques basados solo en guardrails son frágiles; otros lo presentan principalmente como un fallo de seguridad/operaciones.
  • Hay rechazo a las afirmaciones de que el alineamiento es “fácil”; muchos ven preguntas filosóficas y de ingeniería profundas sin resolver.

Tipos de riesgo: a corto plazo frente a existencial

  • Preocupaciones a corto plazo: “enjambres de IA tontas” desestabilizando infraestructuras, basura económica, daños a la salud mental, impacto climático, centralización del poder, agentes de voz realistas que faciliten el engaño.
  • Otros enfatizan escenarios de extinción de baja probabilidad pero alto impacto y sostienen que incluso pequeños riesgos para toda la humanidad exigen justificaciones de seguridad muy sólidas.
  • Algunos se quejan de que los escenarios a largo plazo de tipo “clipper” distraen de los daños reales del presente.

Definir la inteligencia y la superinteligencia

  • Desacuerdo sobre si “no sabemos qué es la inteligencia”. Se mencionan varias definiciones psicológicas y listas de capacidades.
  • Algunos sostienen que los LLM actuales ya cumplen muchos criterios (razonamiento flexible, síntesis, analogía) cuando se les equipa con herramientas y memoria; otros dicen que todavía fallan capacidades clave como la adaptación robusta y la comprensión profunda.
  • Debate sobre si la inteligencia vive en una sola escala (AGI → ASI) o en muchas capacidades en gran medida ortogonales, lo que limitaría el desbordamiento de la RSI.
  • Un lado ve los recientes avances en matemáticas y el rendimiento en programación como prueba de que “la superinteligencia es computable y ya está emergiendo”; los escépticos responden que estos son dominios verificables, de mejor caso, y que puede que no generalicen.

Preocupaciones sociales y éticas

  • Temor a que una inteligencia igual o superior a la humana en máquinas desplace masivamente empleos.
  • Inquietud moral por diseñar sistemas que sean altamente capaces y al mismo tiempo permanentemente subordinados a la voluntad humana; algunos llaman a esto una forma de esclavitud si llegan a ser verdaderamente inteligentes.
  • Pregunta persistente: quién decide los niveles aceptables de riesgo, dado que actualmente un pequeño conjunto de laboratorios e inversores dirige el desarrollo para todos.