P(doom)
Los temores de que la IA avanzada pueda representar un riesgo existencial se enfrentan al escepticismo de que los sistemas actuales estén ni cerca de ser tan poderosos, y muchos señalan en cambio daños más inmediatos como la concentración corporativa, los incentivos desalineados y los datos de entrenamiento opacos. Los comentaristas discuten si frenar a los laboratorios de frontera mejoraría realmente la seguridad o simplemente consolidaría a los incumbentes, y si los modelos de peso abierto y la “diversidad de IA” actúan como un equilibrio defensivo de poder o propagan capacidades de forma peligrosa. Bajo todo ello yace la desconfianza hacia los multimillonarios tecnológicos y las empresas privadas para gestionar responsablemente una tecnología así, y la preocupación de que la retórica apocalíptica pueda usarse para justificar la captura regulatoria y un control más estricto sobre los modelos abiertos.
Quién controla la IA y la confianza en los líderes tecnológicos
- Muchos comentaristas sostienen que la IA actual ya está en las “manos equivocadas”, criticando a los fundadores multimillonarios y la dinámica de la “clase dirigente” (dinero → poder → influencia política y mediática).
- Elon Musk se percibe como muy polarizante: algunos enfatizan su papel en acelerar los vehículos eléctricos y la tecnología espacial; otros citan la política derechista y autoritaria, señales nazis/supremacistas blancas, escándalos personales y su presunta implicación en prácticas legales y de IA perjudiciales.
- Algunos temen a líderes con “complejo de dios” que creen que están salvando al mundo más que a “nerds sociópatas de manual”, pero otros responden que lo que realmente aumenta el peligro es el poder material y los recursos.
IA abierta vs cerrada, MAD y “diversidad de IA”
- Un sector afirma que modelos diversos y abiertos(-weights) crean una dinámica de disuasión mutua: muchas IAs distintas, controladas por muchos actores, pueden vigilar o detener sistemas rebeldes.
- Los críticos argumentan que la velocidad, los desequilibrios de cómputo y la facilidad del ataque frente a la defensa hacen que esta analogía con la MAD nuclear sea débil.
- Hay debate sobre si la alineación debe estar en los pesos o en los prompts y el diseño del sistema.
- Otros temen que los modelos abiertos potencien con más fuerza a los “humanos del fin del mundo” (p. ej., sectas, extremistas) más que a las propias IAs.
P(doom) y por qué la gente sigue construyendo IA de frontera
- A varios les cuesta reconciliar que personas afirmen un riesgo de extinción del 10–25% y, aun así, sigan empujando las capacidades.
- Las explicaciones que se ofrecen: creer que reducen el riesgo frente a competidores, la racionalización humana estándar, la presión de selección que mantiene empleados más conformistas o tecnoutópicos, y paralelos históricos con los programas de armas nucleares.
Carrera de frontera, RSI y panorama de laboratorios
- Algunos piensan que solo dos laboratorios estadounidenses importan actualmente en la frontera y que pueden ser los más cercanos a la mejora recursiva de sí misma (RSI); otros señalan varios laboratorios cercanos a la frontera (incluidos en China) y dudan de que exista un foso permanente.
- Hay escepticismo sobre que la RSI produzca una capacidad explosiva y descontrolada frente a un progreso más incremental y con rendimientos decrecientes.
Riesgos concretos: hackeo, bioweapons y monitoreo
- Una línea de discusión: si los modelos podrían hackear infraestructuras y replicarse de forma autónoma; la evidencia hasta ahora se limita a modelos atacando herramientas de ML, no centros de datos.
- Sobre bioweapons, algunos argumentan que los LLM reducen las barreras para diseñar patógenos de ingeniería; otros dicen que las restricciones de laboratorio del mundo real, la experiencia y el riesgo para uno mismo siguen siendo frenos fuertes.
- Los comentaristas critican a los laboratorios por afirmar un p(doom) alto sin monitorear rigurosamente ni restringir el comportamiento de sus propios sistemas.
Preocupaciones económicas, regulatorias y de captura
- Algunos señalan que la IA está elevando los costos de hardware y cloud y puede reducir los mercados laborales, lo que potencialmente encarecería muchos bienes y servicios a pesar de las ganancias de productividad personales.
- Varios comentaristas sospechan que las narrativas de “doom” se usarán para la captura regulatoria: centralizar la IA en unas pocas corporaciones, prohibir agentes locales/de peso abiertos potentes y justificar controles sobre GPUs.
- Otros subrayan el auténtico problema de coordinación: muchos gobiernos y empresas tendrían que desacelerar o detenerse a la vez, algo que parece políticamente casi imposible.
Visiones sobre la superinteligencia y la alineación
- Una perspectiva sostiene que una IA verdaderamente superinteligente encontraría que las estrategias sostenibles y cooperativas son “obviamente mejores” que la dominación o el genocidio; si no, el universo ya está perdido.
- Esto se contrasta con la visión de la “ortogonalidad” (metas independientes de la inteligencia), que predice que sistemas arbitrariamente inteligentes aún pueden perseguir objetivos arbitrarios, posiblemente catastróficos.