LeCun tiene "cero preocupaciones" sobre que la IA aniquile a la humanidad, recientes incidentes "renegados"
Los temores de que la IA avanzada pueda aniquilar a la humanidad son cuestionados por críticos que sostienen que los sistemas actuales son solo herramientas cuyos peligros reales provienen del uso indebido humano, los malos incentivos y la mala ingeniería, más que de una malevolencia autónoma. Otros replican que modelos superhumanos, estrechamente integrados con infraestructuras críticas y capaces de persuasión a gran escala o bioingeniería, podrían causar un daño catastrófico o incluso existencial, especialmente dada la débil gobernanza y el control corporativo opaco. El intercambio se amplía hacia el escepticismo sobre los esfuerzos de “seguridad en IA” de miles de millones de dólares, la preocupación por la captura regulatoria y la decadencia social, y un llamamiento a centrarse en riesgos concretos como la desinformación, la pérdida de empleo y los sistemas sociotécnicos frágiles.
Alcance del riesgo de extinción por IA
- Muchos comentaristas están de acuerdo con la postura de riesgo de extinción “casi nulo”: los sistemas actuales son autocompletadores de texto que no pueden actuar sin arneses frágiles escritos por humanos; se les puede “desenchufar”.
- Algunos sostienen que es casi imposible borrar literalmente a todos los humanos; incluso las armas nucleares, las pandemias y el cambio climático dejan supervivientes. Exigen al menos un mecanismo concreto y detallado antes de tratar la “extinción humana” como algo serio.
- Otros replican que no hace falta Skynet: una IA muy capaz podría diseñar patógenos nuevos, orquestar ataques multivectoriales (bio, infraestructura, persuasión) o explotar sistemas de control digitalizados. Incluso “solo” miles de millones de muertes o un colapso de la civilización ya sería suficientemente grave.
- Varios señalan que los humanos ya son hackeables cognitivamente mediante algoritmos de engagement, propaganda y redes sociales; sistemas más inteligentes podrían escalar esto de forma drástica.
Riesgos a corto plazo y no existenciales
- Muchos creen que los problemas reales son sociales y económicos: pérdida de empleo, desigualdad, manipulación política, persuasión dirigida en elecciones, colapso de la educación y un “brainrot” general a medida que la gente descarga el pensamiento y la socialización en bots.
- El uso indebido por parte de gobiernos y militares, las armas autónomas, la vigilancia estatal y el bioterrorismo a pequeña escala se citan repetidamente como amenazas más concretas que una superinteligencia renegada.
Responsabilidad humana frente a responsabilidad del modelo
- La opinión generalizada: los recientes hacks de “agente renegado” se debieron a un mal sandboxing, recompensas mal especificadas y temeridad en la gestión, no a intención maligna de los modelos.
- Se describe a los LLM como funciones de símbolo-entrada/símbolo-salida; el daño real proviene de las herramientas que se les dan (sistemas de archivos, shells, redes).
- Otros contraargumentan que, una vez conectas los modelos a cadenas de herramientas e infraestructura potentes, “es solo el arnés” es un consuelo frío; controlar esos sistemas a escala no es trivial.
Movimiento de seguridad en IA e incentivos de la industria
- Crítica larga y detallada del ecosistema de seguridad en IA / altruismo eficaz: miles de millones en financiación, densos vínculos cruzados con laboratorios de frontera, acusaciones de captura regulatoria, autobeneficio y uso de la retórica de extinción para justificar monopolios y valoraciones elevadas.
- Los defensores sostienen que se trata de mitigación sincera del riesgo y de trabajo teórico fundamental; el flujo de dinero por sí solo no implica mala fe.
Capacidades, arquitecturas e incertidumbre
- Debate sobre si los modelos actuales realmente tienen razonamiento espacial o física de sentido común, o si solo hacen coincidencia de patrones en benchmarks.
- Algunos piensan que los enfoques actuales basados en LLM son un callejón sin salida para la AGI; otros ven capacidades emergentes y un enorme margen de mejora restante.
- En conjunto, los comentaristas convergen más en “tenemos una incertidumbre muy alta” que en cualquier previsión única.