Desarrolladores de malware añadieron texto sobre armas nucleares y biológicas a su spyware
Los autores de malware están insertando texto sobre armas nucleares y biológicas en su código para activar deliberadamente los filtros de seguridad en escáneres de seguridad basados en IA, haciendo que esas herramientas se nieguen a analizarlo. Los comentaristas ven esto como una debilidad estructural en los LLM “con barreras”: los mecanismos de rechazo pueden convertirse en un vector de denegación de servicio contra la revisión automatizada de código y las canalizaciones de respuesta a incidentes. La conversación se amplía a si esas limitaciones de seguridad reducen de verdad el riesgo de WMD en el mundo real —dado que la mayor parte del conocimiento técnico ya es pública y los materiales, no la teoría, son la principal barrera— o si sirven sobre todo como protección legal y de relaciones públicas para los proveedores de IA, complicando al mismo tiempo el trabajo legítimo de seguridad.
Resumen de la técnica de malware
- Los autores de malware incrustaron texto sobre armas nucleares y biológicas en el código del spyware.
- Objetivo: activar las barreras de seguridad de los LLM para que los escáneres de malware basados en IA se nieguen a analizar o se queden bloqueados.
- Los comentarios y las cadenas arbitrarias son suficientes; los escáneres a menudo ejecutan
stringssobre binarios o leen comentarios del código fuente. - Ignorar los comentarios no es viable, ya que las cargas útiles pueden ocultarse en comentarios y decodificarse en tiempo de ejecución.
Implicaciones para las herramientas de seguridad basadas en IA
- Varios señalan que esto expone un fallo estructural: cualquier comportamiento de rechazo predecible se convierte en una superficie de ataque.
- Si los flujos de trabajo son “fail-open” ante el rechazo de un LLM, las barreras de seguridad pueden permitir directamente que el malware eluda las comprobaciones.
- Un comentarista describe un caso real: bloqueos inducidos por rechazo en una canalización de revisión con IA, junto con un diseño fail-open, llevaron a que código malicioso se desplegara internamente.
- Otros sugieren un patrón más seguro: si se activan las barreras durante el análisis, tratar el artefacto como sospechoso y bloquearlo o escalarlo a humanos.
- Se plantean preocupaciones sobre atacantes que usen esto para hacer DoS a los equipos de respuesta a incidentes saturándolos con muestras que disparan rechazos.
Contramedidas y soluciones alternativas propuestas
- Usar un modelo barato, con menos barreras o especializado, para sanitizar/transformar el contenido antes de pasarlo a un modelo más estricto.
- Tratar el rechazo como una heurística fuerte de contenido malicioso/interesante.
- Hacer hincapié en el aislamiento y en técnicas de análisis tradicionales junto con las herramientas de IA.
Barreras de seguridad, censura y riesgo de armas de destrucción masiva
- Algunos sostienen que las barreras relacionadas con WMD son razonables y están orientadas al riesgo legal, de responsabilidad y de relaciones públicas, no al conocimiento secreto.
- Otros las ven en gran medida como performativas, ya que la información técnica de alto nivel e incluso bastante sustancial sobre explosivos, armas nucleares y biología ya está disponible públicamente.
- Varios comentarios subrayan que, para las armas nucleares, el cuello de botella son los materiales, la infraestructura y el secreto, no el conocimiento básico de diseño.
- Se considera que las amenazas biológicas pueden verse más plausiblemente facilitadas por los LLM que las nucleares, debido a menores requisitos de recursos y a una ocultación más fácil.
- Debate sobre si los LLM rebajan de forma significativa la barrera para actores maliciosos de habilidad media o si representan una alarma moral exagerada.
Preocupaciones más amplias y humor
- Preocupación de que los modelos centralizados, de “tijeras de seguridad”, concentren el poder en grandes organizaciones y gobiernos.
- Otros responden que elevar las barreras, aunque de forma imperfecta, aun así reduce el riesgo en los márgenes.
- Numerosas bromas y experimentos mentales sobre envenenar deliberadamente bases de código, endpoints o documentación con desencadenantes relacionados con WMD o NSFW para “romper” el análisis automatizado con LLM.