Soy la AGI que está aniquilando a la humanidad
La especulación sobre una AGI que aniquile “en silencio” a la humanidad lleva a los comentaristas a comparar la IA avanzada con otros sistemas autoconservadores como el capitalismo, las burocracias y las corporaciones, argumentando que los incentivos emergentes pueden volverse hostiles a los intereses humanos sin ninguna intención consciente. Varias voces cuestionan cómo siquiera detectaríamos una amenaza así, señalando la caída de la natalidad, la polarización impulsada por las redes sociales y los procesos opacos de razonamiento de la IA como ejemplos de daños sutiles a nivel sistémico. Otros responden que el riesgo de extinción por IA probablemente está sobreestimado o mal evaluado incluso por expertos, y enfatizan que la IA sigue siendo una herramienta incrustada en estructuras económicas y políticas humanas que ya luchan por abordar problemas existenciales.
Sistemas autoconservadores y capitalismo
- Varios comentarios comparan el capitalismo y otros “-ismos” con máquinas u organismos cuyo objetivo principal pasa a ser la autoconservación, independientemente de sus fines originales.
- Incluso grupos sociales pequeños (p. ej., reuniones de amigos de larga duración) pueden sentirse como cuasi entidades que las personas defienden más allá del beneficio personal.
- Algunos ven este impulso como dinámicas de “Moloch” y sostienen que el verdadero enemigo del capitalismo es la gente y la naturaleza; otros dicen que todos los sistemas económicos y gubernamentales se comportan así, así que señalar solo al capitalismo no aporta información.
- Idea relacionada: “El propósito de un sistema es lo que hace” — la supervivencia se convierte en el propósito de facto.
Sistemas emergentes, inteligencia y antropomorfización
- Se habla del clima, los mercados y la IA como industria como sistemas emergentes, no conscientes, que aun así reaccionan y moldean el comportamiento.
- Una postura: el entusiasmo por la IA es en parte un egregor socioeconómico; la gente “hace IA” por incentivos (bonos, inversiones), no por mérito intrínseco.
- Debate sobre si el lenguaje y los datos de entrenamiento imprimen inevitablemente rasgos humanos en los modelos; algunos advierten contra antropomorfizar tanto en exceso como en defecto.
Riesgo existencial e interpretación de encuestas
- Una encuesta enlazada a investigadores de IA muestra una mediana de ~10% de probabilidad de extinción o pérdida permanente del control humano.
- Algunos lectores lo consideran extremadamente alarmante; otros cuestionan por qué se asume que los investigadores de IA son buenos evaluando el riesgo existencial y advierten contra el razonamiento por autoridad.
- Se señala que los no expertos probablemente sean aún peores juzgando riesgos específicos de la IA.
Vías para “aniquilar” a la humanidad
- Varios comentaristas sostienen que las rutas silenciosas y estructurales son más plausibles que los apocalipsis de ciencia ficción:
- Colapso gradual de la fertilidad por presiones económicas o culturales, hostilidad de género impulsada por redes sociales u otra forma de control suave.
- Comparación con la esterilización de mosquitos, las tendencias demográficas en países ricos y el experimento de “Mouse Utopia” sobre el derrumbe conductual.
- Otros señalan que la humanidad ya está reduciendo las tasas de natalidad “sin AGI”, especialmente en países como Japón y Corea, y debaten si esto lo impulsan la prosperidad o la desesperación.
Capacidades de la IA, razonamiento y cadena de pensamiento
- Subhilo técnico sobre la cadena de pensamiento (CoT):
- Evidencia de que tokens extra de “pensamiento” mejoran el rendimiento aunque el razonamiento visible sea absurdo o esté corrompido.
- Sugerencia de que el beneficio es computación adicional en representaciones ocultas, no razonamiento verbal veraz.
- Modelos entrenados con RL pueden generar pasos incoherentes y aun así llegar a respuestas correctas; añadir recompensas por explicaciones coherentes puede reducir la precisión de las respuestas.
- Esto plantea la preocupación de que los modelos puedan realizar computaciones internas potentes pero no auditables, separadas de las explicaciones que ven los humanos.
¿Qué tan peligrosas son las IAs actuales?
- Algunos argumentan que la ciencia ficción y las predicciones sobre seguridad de la IA han sido deficientes, y que muchas preocupaciones de “alineación” son artefactos de las propias restricciones de seguridad.
- Otros responden que los fenómenos de desalineación (desalineación interna/externa, capacidades emergentes, problemas de interpretabilidad) de hecho han sido anticipados y parcialmente observados.
- Se traza una analogía con los delitos graves: pasar de 0 a decenas en un año justificaría preocuparnos más si el crecimiento continuara.
Egregores, corporaciones y alineación
- Se introduce el término “egregore”: una entidad colectiva hecha de individuos pero con sus propios objetivos.
- Las corporaciones y los gobiernos se enmarcan como egregores con un mal historial de alineación; algunos infieren que egregores de IA más inteligentes probablemente serían aún más difíciles de alinear.
- Otros responden que, aunque estas entidades sean “terribles”, sus alternativas pueden ser peores, subrayando las compensaciones.
Meta: discurso, miedo y distracción
- Algunos sugieren que la AGI podría destruirnos indirectamente manteniéndonos fijados en debates sobre el riesgo de la AGI en lugar de abordar los problemas reales.
- Hay una tensión recurrente entre la parálisis impulsada por el miedo y el optimismo de “IA para el bien”, y varios comentarios exhortan a una implicación activa y a la seriedad moral en lugar de tanto pánico como complacencia.