Demis Hassabis tiene un plan para aprovechar la IA de forma segura
La llamada de un destacado líder de IA a crear un organismo estadounidense cuasi independiente para probar y certificar modelos de IA “frontier” antes de su lanzamiento ha reavivado el debate sobre cómo, y si, deben regularse los sistemas avanzados. Los partidarios ven prudentes las pruebas de seguridad previas al lanzamiento y los estándares compartidos dada la afirmación de que la inteligencia artificial general podría estar a solo unos años, mientras que los críticos sostienen que esto es especulativo, que corre el riesgo de captura regulatoria por parte de los grandes laboratorios y que ignora daños más inmediatos como la pérdida de empleo, la desinformación y la concentración de poder. Muchos comentaristas cuestionan el realismo de las visiones de “posescasez” y subrayan que la voluntad política, las estructuras económicas y la aplicación de las normas —más que las salvaguardas técnicas por sí solas— determinarán quién se beneficia realmente de la IA poderosa.
Cronología y plausibilidad de la AGI
- La premisa del artículo de que la AGI a nivel cerebral está “a unos pocos años vista” es muy discutida.
- Los críticos dicen que no hay pruebas sólidas de que el escalado nos lleve pronto hasta ahí; los LLM todavía fallan tareas básicas y se parecen a sistemas estrechos y frágiles.
- Otros sostienen que el reciente progreso acelerado es precisamente por lo que ahora tiene sentido planificar la seguridad, aunque los plazos sean inciertos.
Posescasez, desigualdad y distribución
- Muchos dudan de que la AGI cree una verdadera posescasez; la tierra y las ubicaciones deseables siguen siendo inherentemente escasas.
- Incluso donde la escasez técnica está resuelta en gran medida (por ejemplo, la comida en países ricos), la asignación y la política siguen produciendo hambre y falta de vivienda.
- Varios señalan que los saltos tecnológicos del pasado no corrigieron automáticamente la desigualdad; a menudo la ampliaron hasta que hubo redistribución forzada.
Organismo propuesto de seguridad en IA y regulación
- El regulador “frontier AI” propuesto, similar a FINRA, evaluaría modelos, etiquetaría “frontier labs” e impondría obligaciones de seguridad (pruebas, model cards, seguridad, etc.).
- Los partidarios creen que el gobierno por sí solo es demasiado lento y que la autorregulación de la industria es demasiado débil, por lo que una SRO híbrida podría aportar agilidad.
- Los escépticos ven objetivos vagos, poca capacidad de hacer cumplir las normas y dudan de que los malos actores cumplan.
Poder, incentivos y captura regulatoria
- Muchos ven la propuesta como un intento de captura regulatoria: grandes laboratorios usando la “seguridad” para controlar el acceso, frenar a competidores y excluir modelos abiertos/autohospedados.
- Entre las preocupaciones están las cargas que los pequeños laboratorios no pueden cumplir, el juego con benchmarks (ya sea inflando o rebajando deliberadamente las puntuaciones) y la concentración de poder en unas pocas empresas estadounidenses alineadas con el gobierno.
- Existe una profunda desconfianza en que las empresas dominantes compartan las ganancias impulsadas por la AGI, dadas la evasión fiscal y la concentración de riqueza ya existentes.
Riesgos reales/actuales frente a catástrofe especulativa
- Varios sostienen que los mayores daños a corto plazo son: desplazamiento laboral, propaganda y desinformación, vigilancia, erosión de la confianza en los medios y centralización del poder.
- Ven la retórica del “riesgo existencial” como alarmismo interesado que desvía la atención de estos problemas concretos y justifica más control por parte de los incumbentes.
- Otros mantienen que los riesgos catastróficos a largo plazo (por ejemplo, la pérdida de control sobre sistemas superinteligentes) son lo bastante plausibles como para que marcos preventivos estén justificados.
Contexto internacional y geopolítico
- Muchos dudan de que un marco definido por Estados Unidos consiga una adhesión internacional amplia, citando la erosión de la confianza en los compromisos de tratados de EE. UU. y el resentimiento hacia la “hegemonía” estadounidense.
- Algunos señalan que China y otros podrían adoptar controles similares, pero otros creen que la rivalidad entre grandes potencias y los incentivos para competir impedirán límites globales significativos.
Conciencia, derechos y “esclavitud de la IA”
- Un largo subhilo debate si la futura AGI podría ser un paciente moral con derechos.
- Las posiciones van desde “son solo electrones, la esclavitud no aplica” hasta “si la AGI tiene qualia/consciencia, usarla como herramienta sería esclavitud”.
- No hay acuerdo sobre si la inteligencia implica consciencia, ni sobre cómo detectaríamos siquiera los qualia en las máquinas.
Modelos abiertos y actores más pequeños
- El régimen propuesto eximiría a los modelos más débiles, pero una vez cruzaran los umbrales de “frontier” quedarían regulados.
- La gente anticipa tanto la búsqueda obsesiva de benchmarks como un bajo rendimiento deliberado para evitar supervisión.
- Hay preocupación de que los modelos cerrados a gran escala se conviertan en infraestructura opaca que influya en la sociedad sin visibilidad pública ni aporte democrático.
Evidencia del valor de la IA hasta ahora
- Algunos preguntan qué problemas verdaderamente transformadores ha resuelto la IA para justificar el entusiasmo por la AGI.
- Las respuestas destacan éxitos especializados como el plegamiento de proteínas y argumentan que los sistemas generales no tienen que existir aún para que la planificación de la seguridad importe.