Desarrolladores de malware añadieron texto sobre armas nucleares y biológicas a su spyware

Resumen de la técnica de malware

• Los autores de malware incrustaron texto sobre armas nucleares y biológicas en el código del spyware.
• Objetivo: activar las barreras de seguridad de los LLM para que los escáneres de malware basados en IA se nieguen a analizar o se queden bloqueados.
• Los comentarios y las cadenas arbitrarias son suficientes; los escáneres a menudo ejecutan strings sobre binarios o leen comentarios del código fuente.
• Ignorar los comentarios no es viable, ya que las cargas útiles pueden ocultarse en comentarios y decodificarse en tiempo de ejecución.

Implicaciones para las herramientas de seguridad basadas en IA

• Varios señalan que esto expone un fallo estructural: cualquier comportamiento de rechazo predecible se convierte en una superficie de ataque.
• Si los flujos de trabajo son “fail-open” ante el rechazo de un LLM, las barreras de seguridad pueden permitir directamente que el malware eluda las comprobaciones.
• Un comentarista describe un caso real: bloqueos inducidos por rechazo en una canalización de revisión con IA, junto con un diseño fail-open, llevaron a que código malicioso se desplegara internamente.
• Otros sugieren un patrón más seguro: si se activan las barreras durante el análisis, tratar el artefacto como sospechoso y bloquearlo o escalarlo a humanos.
• Se plantean preocupaciones sobre atacantes que usen esto para hacer DoS a los equipos de respuesta a incidentes saturándolos con muestras que disparan rechazos.

Contramedidas y soluciones alternativas propuestas

• Usar un modelo barato, con menos barreras o especializado, para sanitizar/transformar el contenido antes de pasarlo a un modelo más estricto.
• Tratar el rechazo como una heurística fuerte de contenido malicioso/interesante.
• Hacer hincapié en el aislamiento y en técnicas de análisis tradicionales junto con las herramientas de IA.

Barreras de seguridad, censura y riesgo de armas de destrucción masiva

• Algunos sostienen que las barreras relacionadas con WMD son razonables y están orientadas al riesgo legal, de responsabilidad y de relaciones públicas, no al conocimiento secreto.
• Otros las ven en gran medida como performativas, ya que la información técnica de alto nivel e incluso bastante sustancial sobre explosivos, armas nucleares y biología ya está disponible públicamente.
• Varios comentarios subrayan que, para las armas nucleares, el cuello de botella son los materiales, la infraestructura y el secreto, no el conocimiento básico de diseño.
• Se considera que las amenazas biológicas pueden verse más plausiblemente facilitadas por los LLM que las nucleares, debido a menores requisitos de recursos y a una ocultación más fácil.
• Debate sobre si los LLM rebajan de forma significativa la barrera para actores maliciosos de habilidad media o si representan una alarma moral exagerada.

Preocupaciones más amplias y humor

• Preocupación de que los modelos centralizados, de “tijeras de seguridad”, concentren el poder en grandes organizaciones y gobiernos.
• Otros responden que elevar las barreras, aunque de forma imperfecta, aun así reduce el riesgo en los márgenes.
• Numerosas bromas y experimentos mentales sobre envenenar deliberadamente bases de código, endpoints o documentación con desencadenantes relacionados con WMD o NSFW para “romper” el análisis automatizado con LLM.