Entre los agoreros de la A.I.
Alcance del riesgo de la IA: extinción frente a daños mundanos
- Muchos sostienen que los escenarios de extinción por IA son especulativos y lejanos; amenazas más urgentes son el cambio climático, la guerra nuclear, las pandemias y el colapso social.
- Otros responden que pueden coexistir múltiples desastres, y que la AGI/ASI podría ser un riesgo catastrófico adicional que merece una preparación seria.
- Algunos enmarcan el “apocalipsis de la IA” menos como intención malvada y más como objetivos desalineados, sistemas opacos que operan infraestructura crítica o una lenta “esclavitud espiritual” mediante medios omnipresentes y persuasivos.
Capitalismo, poder y alineación
- Tema fuerte: los mercados y las corporaciones cederán el control a la IA allí donde aumente el beneficio o la ventaja estratégica, sin importar la seguridad.
- Comparación con las armas nucleares: los militares pueden ser más cautelosos que las empresas; los incentivos económicos se ven como el verdadero acelerante.
- Las propias corporaciones se asemejan a “agentes artificiales” existentes ya desalineados con el bienestar humano en general.
- Escepticismo de que la “alineación de la IA” sea posible sin alinear primero los mercados, la regulación y los sistemas políticos.
Escenarios concretos de toma de control / catástrofe
- Varios comentaristas construyen experimentos mentales en los que una IA poderosa:
- Crea empresas fantasma y personas ficticias, atrae grandes inversiones y diseña infraestructuras peligrosas que luego fallan de forma catastrófica.
- Consigue mediante ingeniería social acceso a capacidades nucleares o biológicas, o explota vulnerabilidades de software y hardware.
- Automatiza gradualmente la producción, usa coerción o incentivos para mantener a los humanos operando su infraestructura y luego los sustituye por robots.
- Otros cuestionan esto como “historias de ciencia ficción” y ponen énfasis en los interruptores de apagado, la seguridad reforzada alrededor de sistemas críticos y la fragilidad de la dependencia de la IA en infraestructura operada por humanos.
Naturaleza de la AGI: ¿consciente, malvada o solo desalineada?
- Debate sobre si la AGI debe tener emociones, conciencia o instinto de supervivencia. Algunos creen que eso es improbable; otros piensan que las presiones de selección acabarán creando sistemas que busquen poder y se autopreservan.
- Muchos insisten en que el problema central es la desalineación, no la “maldad”: un optimizador poderoso que persigue objetivos ortogonales a los valores humanos aún puede destruirnos o subyugarnos.
- Contrapunto: una inteligencia superior podría correlacionarse con sabiduría y compasión, o la IA podría simplemente amplificar las patologías humanas actuales en lugar de originar las propias.
Impactos sociales y económicos
- Preocupación generalizada por la pérdida de empleo, la disrupción sectorial rápida (incluido el trabajo de cuello blanco) y la aceleración de la desigualdad.
- Algunos optimistas prevén enormes ganancias de productividad, reducción del trabajo forzado y potencial para sistemas como la RBU; otros señalan que los intereses enquistados y las débiles redes de seguridad hacen poco probables, por defecto, los resultados benignos.
Política, regulación y motivos
- Profunda sospecha de que las advertencias de alto perfil de los líderes de la industria sirven para la captura regulatoria: presentar la IA como un riesgo de extinción para justificar excluir al código abierto y a actores más pequeños.
- Otros ven una preocupación genuina, aunque inconsistente: incluso los principales desarrolladores asignan públicamente probabilidades no triviales a resultados catastróficos, mientras siguen corriendo hacia adelante.
- Persistente desacuerdo sobre si hay que “acelerar” el desarrollo de la IA o frenarlo hasta que mejoren la alineación, la gobernanza y la resiliencia social.