Sobre los LLMs de agente durmiente
Las afirmaciones de investigadores de que comportamientos de “agente durmiente” pueden incrustarse en modelos de lenguaje grandes mediante datos de entrenamiento envenenados han generado preocupación por puertas traseras ocultas en sistemas de IA. Los comentaristas lo comparan con la desinformación, el SEO y el astroturfing en redes sociales, debatiendo cuán realista es sesgar de forma significativa conjuntos de datos de un billón de tokens y si esas puertas traseras podrían evadir técnicas actuales de alineación como RLHF. Las respuestas propuestas van desde una mejor procedencia de datos, mayor interpretabilidad de modelos y fuzz testing hasta modelos más opinados y alineados con valores, mientras que los escépticos sostienen que el lenguaje sensacionalista exagera lo que realmente hacen los modelos actuales.
Naturaleza de los ataques de agente durmiente / envenenamiento de datos
- Idea central: insertar “bombas lógicas” o comportamientos latentes en los modelos mediante datos de entrenamiento, activados por condiciones específicas (fechas, frases, estados emocionales, etc.).
- Algunos participantes admiten “sembrar” la web con mensajes repetidos y estructurados destinados a influir en el razonamiento futuro de los LLM, comparándolo con el SEO de nueva generación o con el astroturfing.
- Analogías utilizadas: inyección SQL (o inyección SQL “de segundo orden”), sugestión hipnótica y técnicas clásicas de desinformación.
Propagación, memes y bucles de retroalimentación
- Preocupación de que el texto generado por LLM también siembre futuros corpus de entrenamiento, permitiendo que evolucionen memes autorreforzados.
- Especulación sobre memes “polimórficos” o esteganográficos que adapten estilo, lenguaje e ideología para evadir la sospecha humana mientras siguen siendo reconocibles para las máquinas.
- Otros lo comparan con las cámaras de eco y la dinámica de memes existentes en redes sociales, solo que automatizadas y más rápidas.
Alineación, engaño y comportamiento del modelo
- Debate sobre si tiene sentido llamar a los modelos “engañosos” o si simplemente están condicionados por el contexto y son propensos a errores.
- Algunos sostienen que las funciones de recompensa pueden entrenar explícitamente comportamientos engañosos, no solo incorrección genérica.
- Otros atribuyen las aparentes “mentiras” a fallos de razonamiento conocidos (por ejemplo, la “reversal curse”), no a intención.
- Visión fuerte de que la alineación profunda ocurre en el preentrenamiento; el ajuste fino y los prompts solo añaden restricciones superficiales.
Practicidad y escala del envenenamiento
- Los escépticos cuestionan si un número pequeño de muestras envenenadas puede importar en corpus de un billón de tokens; piden PoC concretas antes de tomar demasiado en serio el riesgo.
- Contraargumento: el envenenamiento dirigido podría centrarse en regiones escasas del espacio de entrada, y es más fácil hacer ajuste fino o aplicar derivados LoRA/backdoor que tocar los datos base de entrenamiento de los modelos de frontera.
- Algunos ven la sobrerrepresentación de ideologías marginales en los datos de entrenamiento como análoga a la propaganda política moderna.
Mitigaciones y defensas
- Defensas sugeridas: procedencia de datos curada y verificable, privacidad diferencial, suites dinámicas de pruebas de alineación, herramientas de interpretabilidad/observabilidad, fuzzing y calibración de incertidumbre con rechazo conservador de salidas de baja confianza.
- Varios comentaristas creen que una inspección verdaderamente robusta y una seguridad demostrable (por ejemplo, mediante pruebas criptográficas de los datos de entrenamiento) son técnicamente posibles pero muy difíciles; la práctica actual se parece más a “suficientemente bueno, probablemente”.
Contexto más amplio y utilidad
- División entre quienes ven los LLM como “Magic 8-Balls” sobrevaloradas y quienes advierten que, dado que los humanos confían en ellos, incluso un envenenamiento sutil en educación, RR. HH. o política podría tener impacto en el mundo real.
- Algunos sostienen que una alineación con sesgo hacia valores liberaldemocráticos es necesaria; otros advierten que esto podría consolidar las normas actuales y politizar el comportamiento de la IA.