Jugando con nuestras vidas: una investigadora de IA deja Anthropic con una advertencia sobre la seguridad
La renuncia de una investigadora de seguridad de IA de Anthropic, citando una probabilidad de dos dígitos de que la IA avanzada pueda aniquilar a la humanidad en una década, ha reavivado el debate sobre si los laboratorios de IA actuales están actuando de forma responsable. Los comentaristas discuten si estas advertencias son sinceras o parte del hype, cuestionan por qué quienes dicen creer en el riesgo catastrófico siguen construyendo estos sistemas, y destacan la carrera competitiva entre los esfuerzos de EE. UU. y China. Muchos ven una brecha peligrosa entre el ritmo de despliegue —especialmente de sistemas agentivos que pueden actuar de forma autónoma— y la falta de una regulación robusta, aplicación efectiva o modelos claros de amenaza.
Riesgo existencial percibido y ética de los laboratorios
- Varios comentaristas destacan la afirmación de que los principales laboratorios asignan una probabilidad no trivial (por ejemplo, >10% en una década) a que la IA provoque la extinción humana.
- Muchos consideran éticamente incoherente seguir acelerando esta tecnología bajo esas creencias; otros sostienen que el personal puede quedarse porque piensa “si no lo hacemos nosotros, lo harán actores peores”, o por incentivos financieros.
- Algunos ven esta narrativa de “debemos ganar la carrera para ser seguros” como interesada o reminiscentes del Proyecto Manhattan.
Mecanismos de catástrofe: vagos vs concretos
- Varios usuarios critican la retórica apocalíptica sobre la IA por carecer de modelos de amenaza claros y paso a paso; quieren mecanismos más allá de referencias de ciencia ficción.
- Otros sugieren canales concretos: IA integrada en infraestructura crítica, agentes autónomos que escalen el hacking, la coerción, la manipulación social o la adquisición de recursos (por ejemplo, cripto, influencia) para ganar poder.
- Se establece una distinción entre los LLM (generadores de tokens) y los “sistemas agentivos” que los conectan con herramientas y redes; algunos dicen que culpar a la “IA” oscurece las decisiones humanas de diseño de sistemas, otros argumentan que la combinación es lo que importa.
Gobernanza, regulación y geopolítica
- Las llamadas a acuerdos globales, incluso ideas de aplicación extremas, reciben escepticismo sobre su viabilidad en el mundo real.
- Debate sobre si EE. UU. o China es más propenso a regular de forma responsable; algunos afirman que el control centralizado de China podría restringir los riesgos, otros señalan sus ambiciones militaristas.
- Varios sostienen que la IA debería tratarse como las nukes u otras tecnologías estratégicas: nacionalización, tratados internacionales, control estricto de acceso y, posiblemente, pesos abiertos porque los modelos fueron entrenados con los datos de la humanidad.
Incidentes rebeldes y respuesta institucional
- Algunos consideran que los episodios de “agente rebelde” en los laboratorios son históricamente significativos y están poco investigados; las respuestas actuales se caracterizan como “parchear y seguir adelante”.
- Otros ven a las empresas como poco serias, impulsadas por el hype y los incentivos de salida a bolsa más que por la seguridad.
Escepticismo, relaciones públicas y percepción pública
- Algunos sospechan que las salidas y las declaraciones alarmistas pueden, incidentalmente, servir como marketing de capacidades.
- Otros desestiman el riesgo existencial por exagerado, argumentando que la inteligencia está sobrevalorada y que la idiotez (el uso humano indebido, la autonomía en drones, etc.) es el verdadero peligro.