Construyendo un sistema de alerta temprana para la creación de amenazas biológicas asistida por LLM
La investigación de OpenAI sobre un “sistema de alerta temprana” para la creación de amenazas biológicas asistida por modelos de lenguaje grandes suscita escepticismo tanto sobre las capacidades reales de los modelos actuales como sobre las motivaciones de la empresa. Los comentaristas señalan que GPT‑4 solo muestra mejoras pequeñas y estadísticamente insignificantes al ayudar a expertos con tareas biológicas de estilo laboratorio, mientras que las barreras prácticas para desarrollar armas biológicas reales siguen siendo altas. Muchos ven el trabajo como exagerado o orientado a la captura regulatoria y las relaciones públicas, aunque algunos sostienen que sigue siendo prudente estudiar cómo futuros sistemas de IA más capaces podrían amplificar riesgos biológicos graves.
Motivos percibidos y captura regulatoria
- Muchos ven el trabajo como relaciones públicas y “alarmismo” dirigido a los reguladores más que como un análisis real del riesgo.
- Afirmación frecuente: OpenAI está exagerando el peligro para justificar una regulación estricta que favorecería a los modelos cerrados, estilo SaaS, y aumentaría los costos de cumplimiento para los competidores, especialmente los proyectos de pesos abiertos.
- Algunos comparan esto con intentos pasados de regular el cifrado y ven el “FUD” en torno a las pandemias como una herramienta para la captura regulatoria.
- Otros replican, argumentando que es racional practicar en sistemas más débiles antes de que exista una IA más capaz y que descartar todas las preocupaciones sobre x-risk como marketing es superficial.
Resultados del estudio, estadísticas y capacidad
- Los comentaristas destacan que las mejoras medidas (precisión/completitud) no fueron estadísticamente significativas, lo que socava las afirmaciones fuertes sobre el aumento actual de biothreat.
- Algunos señalan que el propio texto de OpenAI admite esto, pero que el título del artículo y el encuadre siguen sonando alarmistas.
- Hay críticas al diseño del estudio: no hubo un control sólido como “acceso a una pequeña biblioteca de investigación”, configuración no reproducible y sin herramientas/navegación para GPT-4.
Realismo de las biothreats asistidas por LLM
- Varios biólogos / personas cercanas al laboratorio subrayan que las “instrucciones” no son el cuello de botella; la ejecución en el laboratorio, el control de la contaminación, el acceso a instalaciones y las pruebas son las partes difíciles.
- Cultivar células y los pasos básicos de virología se describen como de nivel universitario; el contenido redactado recuperado de las imágenes SVG de OpenAI se consideró banal, posiblemente redactado más por apariencia que por verdadera sensibilidad.
- Otros replican que la caída de costos (por ejemplo, síntesis como servicio) reduce barreras y que el filtrado de secuencias es incompleto o inconsistente, por lo que aumentar las barreras sigue importando.
Capacidades de la IA, razonamiento y exageración
- Muchos sostienen que los LLM actuales alucinan gravemente en dominios como la química sintética, tienen dificultades con trabajos técnicos complejos y son “autocompletado glorificado” o “becarios” que se usan mejor para texto repetitivo, lluvia de ideas y documentación.
- Otros afirman que ya aportan una mejora real en tareas que requieren razonamiento y que descartar su potencial peligro futuro es prematuro; extrapolar de los límites de GPT‑4 a “la IA nunca podrá hacer X” se califica de ingenuo.
- Hay un debate meta extendido sobre si los LLM “razonan” o solo emulan el razonamiento, sin consenso.
Riesgo más amplio de la IA frente a daños inmediatos
- Algunos ven el enfoque en el riesgo existencial como algo no probado y una distracción frente a problemas concretos como la desinformación, la calcificación del sesgo y el desplazamiento laboral.
- Otros argumentan que incluso probabilidades modestas de resultados catastróficos de la IA justifican trabajo preparatorio, al tiempo que reconocen que los modelos actuales todavía no plantean esas amenazas.