Sobre la propuesta de California SB 1047
La propuesta californiana SB 1047 impondría requisitos de seguridad, informes y apagado a los desarrolladores de grandes modelos de IA, lo que ha desatado un intenso debate sobre si realmente reduce el riesgo o simplemente consolida a las grandes tecnológicas. Los críticos advierten que los umbrales basados en cómputo, la burocracia y la posible responsabilidad aplastarían a los actores pequeños, desplazarían el trabajo fuera del estado y regularían una “IA” abstracta en lugar de aplicaciones concretas y dañinas como el fraude o la difamación. Los defensores responden que las lecciones de las redes sociales y otras tecnologías no reguladas justifican barreras de seguridad proactivas e infraestructura pública, como un cluster de cómputo financiado por el estado, para hacer que el desarrollo de IA sea responsable y más accesible en general.
Alcance de la regulación: modelos vs. aplicaciones
- Fuerte división entre regular grandes modelos fundacionales y regular aplicaciones derivadas/sistemas automatizados de decisión.
- Los críticos dicen que el enfoque de SB 1047 en el cómputo/los benchmarks favorece a los incumbentes, es fácil de manipular y empuja a los actores pequeños hacia las API de las grandes empresas, creando un oligopolio.
- Otros sostienen que lo que importa son los sistemas que afectan los derechos y oportunidades de las personas (préstamos, empleo, etc.), lo que los marcos existentes de protección de datos ya cubren en parte.
Marco de riesgo y amenazas existenciales
- Algunos consideran que la IA descontrolada o estilo “Terminator” está exagerada en comparación con actores humanos reales y argumentan que la IA “no quiere” nada.
- Otros creen que, si los propios desarrolladores hablan de riesgo de fin del mundo, eso por sí solo justifica una supervisión seria.
- La propuesta se percibe como dirigida principalmente al riesgo de modelos descontrolados, no al uso indebido solicitado por los usuarios, algo que algunos ven conceptualmente inconsistente.
Responsabilidad, uso indebido y deepfakes
- Debate sobre si los desarrolladores o las empresas que alojan los modelos deben ser responsables cuando las herramientas se usan para fraude, robo de identidad o pornografía deepfake.
- Un bando: las herramientas son de propósito general como los coches, los cuchillos o Photoshop; hay que castigar el fraude y la difamación, no a quienes crean la herramienta.
- El otro bando: los daños previsibles y evitables (por ejemplo, entrenar con imágenes de celebridades y no bloquear deepfakes desnudos) deberían generar responsabilidad corporativa, similar a un diseño inseguro de automóviles.
- Preocupa que depender solo de demandas judiciales sea irrealista porque litigar cuesta mucho más que causar el daño.
Competencia, burocracia y umbrales
- Temor a que el “papeleo” de cumplimiento, las determinaciones de seguridad y los umbrales ambiguos de los modelos solo sean manejables para las grandes tecnológicas, consolidándolas.
- Contraargumento: la regulación también puede mantener los mercados abiertos mediante restricciones al estilo antimonopolio; hace falta sospechar tanto de la sobrerregulación como de la falta de regulación.
- La definición de modelo en la propuesta mediante FLOPs y benchmarks de “estado del arte” se ve como vaga, y podría abarcar mucho más que unos pocos LLM de frontera e incluso modelos que no son LLM.
Cluster público de CalCompute
- Algunos ven un cluster público de cómputo como algo crítico para democratizar el acceso, habilitar la investigación abierta y contrarrestar el dominio de las grandes tecnológicas.
- Otros temen un fiasco de contratación pública: capturado por contratistas existentes, lento, obsoleto desde su llegada y potencialmente politizando o centralizando el control sobre el trabajo abierto.
Contexto de California y momento oportuno
- Hay desacuerdo sobre si unas reglas estrictas de IA harán que empresas y talento salgan de California o si permanecerán por las ventajas del ecosistema.
- Algunos argumentan que la regulación es “demasiado pronto” y debería esperar a que haya daños más claros; otros dicen que las redes sociales muestran el costo de esperar y que debemos regular ahora los daños previsibles, de forma iterativa.