Entre los agoreros de la A.I.
Las advertencias sobre el riesgo catastrófico de la IA se enfrentan al escepticismo de que los sistemas actuales estén cerca de la superinteligencia capaz de amenazar a la humanidad. Los comentaristas debaten escenarios concretos de toma de control, el papel de los incentivos de beneficio, las presiones militares y económicas, y si la alineación siquiera es abordable, mientras otros sostienen que los peligros más inmediatos son sociales: desempleo masivo, concentración de poder en las corporaciones, contenido spam o manipulador, y captura regulatoria por parte de las empresas de IA dominantes. Varias voces sostienen que amenazas creadas por humanos como el cambio climático, las armas nucleares y el capitalismo desregulado ya son una especie de “IA desbocada” y pueden ser más urgentes que los escenarios especulativos de extinción.
Alcance del riesgo de la IA: extinción frente a daños mundanos
- Muchos sostienen que los escenarios de extinción por IA son especulativos y lejanos; amenazas más urgentes son el cambio climático, la guerra nuclear, las pandemias y el colapso social.
- Otros responden que pueden coexistir múltiples desastres, y que la AGI/ASI podría ser un riesgo catastrófico adicional que merece una preparación seria.
- Algunos enmarcan el “apocalipsis de la IA” menos como intención malvada y más como objetivos desalineados, sistemas opacos que operan infraestructura crítica o una lenta “esclavitud espiritual” mediante medios omnipresentes y persuasivos.
Capitalismo, poder y alineación
- Tema fuerte: los mercados y las corporaciones cederán el control a la IA allí donde aumente el beneficio o la ventaja estratégica, sin importar la seguridad.
- Comparación con las armas nucleares: los militares pueden ser más cautelosos que las empresas; los incentivos económicos se ven como el verdadero acelerante.
- Las propias corporaciones se asemejan a “agentes artificiales” existentes ya desalineados con el bienestar humano en general.
- Escepticismo de que la “alineación de la IA” sea posible sin alinear primero los mercados, la regulación y los sistemas políticos.
Escenarios concretos de toma de control / catástrofe
- Varios comentaristas construyen experimentos mentales en los que una IA poderosa:
- Crea empresas fantasma y personas ficticias, atrae grandes inversiones y diseña infraestructuras peligrosas que luego fallan de forma catastrófica.
- Consigue mediante ingeniería social acceso a capacidades nucleares o biológicas, o explota vulnerabilidades de software y hardware.
- Automatiza gradualmente la producción, usa coerción o incentivos para mantener a los humanos operando su infraestructura y luego los sustituye por robots.
- Otros cuestionan esto como “historias de ciencia ficción” y ponen énfasis en los interruptores de apagado, la seguridad reforzada alrededor de sistemas críticos y la fragilidad de la dependencia de la IA en infraestructura operada por humanos.
Naturaleza de la AGI: ¿consciente, malvada o solo desalineada?
- Debate sobre si la AGI debe tener emociones, conciencia o instinto de supervivencia. Algunos creen que eso es improbable; otros piensan que las presiones de selección acabarán creando sistemas que busquen poder y se autopreservan.
- Muchos insisten en que el problema central es la desalineación, no la “maldad”: un optimizador poderoso que persigue objetivos ortogonales a los valores humanos aún puede destruirnos o subyugarnos.
- Contrapunto: una inteligencia superior podría correlacionarse con sabiduría y compasión, o la IA podría simplemente amplificar las patologías humanas actuales en lugar de originar las propias.
Impactos sociales y económicos
- Preocupación generalizada por la pérdida de empleo, la disrupción sectorial rápida (incluido el trabajo de cuello blanco) y la aceleración de la desigualdad.
- Algunos optimistas prevén enormes ganancias de productividad, reducción del trabajo forzado y potencial para sistemas como la RBU; otros señalan que los intereses enquistados y las débiles redes de seguridad hacen poco probables, por defecto, los resultados benignos.
Política, regulación y motivos
- Profunda sospecha de que las advertencias de alto perfil de los líderes de la industria sirven para la captura regulatoria: presentar la IA como un riesgo de extinción para justificar excluir al código abierto y a actores más pequeños.
- Otros ven una preocupación genuina, aunque inconsistente: incluso los principales desarrolladores asignan públicamente probabilidades no triviales a resultados catastróficos, mientras siguen corriendo hacia adelante.
- Persistente desacuerdo sobre si hay que “acelerar” el desarrollo de la IA o frenarlo hasta que mejoren la alineación, la gobernanza y la resiliencia social.