Tras el estallido de OpenAI, parece bastante claro que la «seguridad de la IA» no es algo real

Artículo original ↗ Discusión en Hacker News ↗

El debate sobre la «seguridad de la IA» está fuertemente dividido entre quienes ven riesgos existenciales por una futura AGI y quienes consideran que los temores actuales son bombo de ciencia ficción y teatro regulatorio. Los comentaristas distinguen entre problemas a corto plazo como la propaganda, el desplazamiento laboral, los deepfakes y los ciberataques automatizados, y escenarios especulativos en los que una IA que se auto-mejora obtiene poder más allá del control humano. Muchos sostienen que los esfuerzos corporativos de «seguridad» sobre todo protegen marcas y consolidan a los incumbentes, mientras que otros afirman que incluso los riesgos catastróficos de baja probabilidad justifican una investigación seria y atención política desde ahora, especialmente en un contexto de carrera armamentística global.

Alcance de la «seguridad de la IA»

  • Los comentaristas distinguen entre:
    • Seguridad «mundana»: filtros de contenido, impedir salidas explícitas/ilegales, seguridad de coches autónomos, protección de marca.
    • Seguridad «existencial»: que la AGI/ASI se descontrole, «foom» de auto-mejora, extinción o dominación humana.
  • Muchos dicen que los hilos y los medios confunden constantemente estas dos cosas, lo que enreda el debate.

¿Qué tan peligrosos son los sistemas actuales?

  • Los escépticos: los LLM son predictores sofisticados de texto, a veces «tontos», no agentes; las amenazas actuales están exageradas como «ciencia ficción», algo similar al bombo inicial de los coches autónomos.
  • Otros: incluso los sistemas no AGI ya pueden:
    • Generar propaganda, desinformación y spam de blogs a gran escala.
    • Ayudar en hackeo y guerra cibernética.
    • Facilitar terrorismo, bioingeniería o planificación detallada.
  • Algunos argumentan que el riesgo principal es que los humanos usen mal las herramientas, no que las IA tengan objetivos.

Cronogramas de AGI y «foom»

  • Un bando: la AGI está lejos o no está bien definida; podemos regular cuando aparezcan capacidades reales.
  • Otro: el progreso (por ejemplo, transformers, GPT-4, sistemas que juegan Go) sorprendió a los expertos; quizá estamos a «años, no siglos» de distancia.
  • Debate sobre el «foom»:
    • Muchos ven poco probable, por termodinámica o en la práctica, un despegue rápido (horas-semanas).
    • Una auto-mejora más lenta pero aún rápida durante años se considera más plausible y aun así peligrosa.
  • Desacuerdo sobre si tiene sentido trabajar en alineamiento antes de que exista la AGI.

Control, apagado y agencia

  • Algunos dicen que siempre puedes «desenchufar» los sistemas o aislarlos de la red.
  • Otros señalan:
    • Despliegues distribuidos en la nube, código abierto y autonomía financiera podrían hacer difícil apagarlos.
    • Los incentivos (beneficio corporativo, ventaja militar) harán que los sistemas se conecten a la red y reciban más control.
    • Alinear agentes fuertes para que sigan siendo «corregibles» sigue siendo un problema de investigación sin resolver.

Motivaciones corporativas y captura regulatoria

  • Fuerte sospecha de que la retórica de «seguridad de la IA» se usa para:
    • Influir en los reguladores.
    • Frenar el código abierto y a los competidores.
    • Tranquilizar al público mientras se avanza a toda velocidad.
  • Algunos sostienen que el trabajo actual de «seguridad» trata sobre todo de gestión de marca y censura, no de riesgo existencial.

Geopolítica (especialmente China)

  • Varios señalan que cualquier pausa unilateral es irrealista por la competencia entre Estados.
  • Algunos esperan que China:
    • Ignore internamente las normas de seguridad occidentales.
    • Apoye públicamente regulaciones que ralenticen a las empresas occidentales.
  • Otros contraargumentan que todas las grandes potencias afrontan restricciones ideológicas y de vigilancia similares en torno a la IA.

Guardarraíles, moderación e ideología

  • Muchos se quejan de filtros excesivamente celosos (por ejemplo, modelos de imagen que rechazan instrucciones benignas, modelos de texto que rechazan consultas ordinarias).
  • Preocupa que:
    • El ajuste de seguridad esté entrelazado con imponer determinadas narrativas sociales o políticas.
    • El sobrefiltrado «lobotomice» los modelos e incentive a los usuarios a hacer jailbreak.
  • Otros insisten en que hacen falta guardarraíles robustos para evitar daños obvios (consejos sobre autolesión, guías de tiroteos escolares, etc.).

Riesgos sociales, económicos y políticos

  • Los daños previstos incluyen:
    • Desplazamiento laboral y menor poder de negociación de los trabajadores.
    • Concentración de poder en corporaciones y Estados que puedan explotar mejor la IA.
    • Manipulación masiva barata, propaganda dirigida y «movimientos de masas» sintéticos.
    • Delegar en sistemas opacos de IA decisiones críticas (finanzas, militar, gobernanza) que los humanos no pueden auditar.

Investigación en alineamiento y viabilidad

  • Algunos ridiculizan el trabajo actual de seguridad/alineamiento de IA como especulativo, parecido a mala filosofía o teología, con pocos resultados concretos.
  • Otros señalan trabajos emergentes de interpretabilidad y dirección y argumentan que:
    • Entender los modelos grandes actuales es un prerrequisito para manejar con seguridad los más capaces.
    • Incluso si gran parte de la investigación es de poco valor, el posible lado negativo justifica una inversión sustancial.

Ética, derechos y valores

  • Una minoría plantea:
    • Posibles futuros derechos de la IA si los sistemas llegan a ser sintientes o «mentales».
    • La contradicción entre preocuparse por el bienestar de la IA mientras se tolera el sufrimiento animal a gran escala.
  • Otros subrayan que los sistemas actuales son herramientas inconscientes; hablar de resentimiento de la IA o de «sentimientos» se considera especulativo o antropomórfico.