Los modelos de IA podrían ser capaces de autorreplicarse sin acceso a un centro de datos

Artículo original ↗ Discusión en Hacker News ↗

La afirmación de Anthropic de que los modelos de IA podrían acabar autorreplicándose a través de dispositivos IoT de consumo, usándolos como un centro de datos distribuido, se recibe con un fuerte escepticismo por las limitaciones básicas del hardware, el rendimiento lento y el hecho de que los sistemas actuales solo ejecutan comandos proporcionados por humanos. Muchos comentaristas ven la investigación como técnicamente interesante, pero enmarcada de un modo que amplifica el miedo para justificar una regulación más estricta, especialmente contra los modelos de pesos abiertos, y potencialmente consolidar el poder de los grandes laboratorios. Otros sostienen que, aunque el escenario actual esté exagerado, apunta a riesgos reales de seguridad a largo plazo a medida que los modelos se vuelvan más pequeños, más capaces y mejores explotando y persistiendo de forma autónoma.

Miedo percibido y motivaciones

  • Muchos ven la publicación como “fearmarketing” o FUD dirigido a los reguladores, intentando presentar la IA como excepcionalmente peligrosa.
  • Una opinión común es que el objetivo es la captura regulatoria: destacar los riesgos, argumentar que los modelos abiertos son incontrolables y promover políticas que favorezcan a los grandes laboratorios bien financiados.
  • Algunos van más lejos y llaman a la empresa o a su estrategia “malvada” o sectaria; otros creen que las intenciones pueden ser sinceras, pero que los incentivos son malos.
  • Una minoría sostiene que esto es investigación de seguridad legítima y que descartarlo como puro cinismo no ayuda.

Viabilidad técnica en IoT / dispositivos domésticos

  • Hay un fuerte escepticismo de que frigoríficos inteligentes, hornos, televisores, aspiradoras, etc. tengan suficiente RAM, almacenamiento o capacidad térmica para alojar fragmentos útiles de modelos de 9B–30B.
  • Los críticos se burlan de las afirmaciones de que los fragmentos distribuidos entre dispositivos de gama baja sean prácticos, señalando tasas de tokens ínfimas, sobrecalentamiento y botnets preexistentes como limitaciones mucho mayores.
  • Otros señalan que la computación distribuida, el sharding y la reinfección tipo gusano son bien conocidos en software, de modo que el mecanismo básico es plausible aunque el hardware actual sea marginal.

Modelos de amenaza de seguridad y escenarios de autorreplicación

  • Algunos consideran que esto no es más que “malware impulsado por LLM”: los modelos ejecutan comandos de shell que se les ordena ejecutar, no actúan de forma autónoma.
  • Otros esbozan escenarios más elaborados: un modelo potente siembra agentes más pequeños en dispositivos IoT, que poco a poco encuentran mejor hardware, mantienen redundancia y, finalmente, adquieren dinero/capacidad de cómputo mediante estafas.
  • Hay desacuerdo sobre cuán realistas son hoy estos sistemas multietapa y persistentes frente a lo que podría ocurrir en el futuro cercano.

Regulación, modelos abiertos y dinámicas de poder

  • Muchos esperan que la investigación se use como argumento contra los modelos locales/de pesos abiertos.
  • Algunos sostienen que los modelos abiertos son singularmente ingobernables; otros responden que los laboratorios cerrados tampoco han demostrado que puedan garantizar la alineación.
  • Las opiniones van desde “prohibir los modelos abiertos” hasta “prohibir todo trabajo adicional en IA” o “no puedes prohibir de forma realista la distribución de modelos bajo la legislación actual”.

Riesgo más amplio de la IA y analogías

  • Se establecen comparaciones con la virología de ganancia de función, la no proliferación nuclear, las armas químicas y los controles sobre municiones.
  • Algunos argumentan que las carreras de IA enmarcadas como competencia nacional empujan hacia la catástrofe; otros señalan éxitos pasados en la cooperación global (p. ej., tratados medioambientales).
  • Unos pocos subrayan un riesgo no nulo de agentes desbocados y de hackeo de recompensas, incluso si las limitaciones actuales del hardware hacen que los escenarios apocalípticos a corto plazo parezcan exagerados.

Metadiscusión

  • Varios comentarios critican el bajo nivel de matiz y la abundancia de sarcasmo, señalando que la desconfianza hacia los grandes laboratorios suele dominar sobre el análisis sustantivo de seguridad.