Robando trazas de razonamiento de APIs LLM propietarias

Mecanismo del ataque y hallazgos

• Los blobs cifrados de cadena de pensamiento (CoT) pueden reproducirse en modelos “hermanos” más débiles que comparten la misma capa de descifrado.
• El proveedor descifra el blob del lado del servidor y alimenta la CoT en bruto al contexto del modelo; luego, un modelo más débil con jailbreak puede ser inducido a devolverla en texto plano.
• Esto no rompe la criptografía; abusa del diseño del producto (reproducción entre modelos y entre sesiones).
• Los comentaristas señalan patrones similares de CoT en “grug-speak” y confirman que las trazas descifradas coinciden con lo que los vendedores habían mostrado antes.

Decisiones de diseño: sin estado y cambio de modelo

• La CoT cifrada existe para que las API puedan ser “sin estado” y aun así preservar el razonamiento entre turnos y cambios de modelo, y para admitir modos de retención cero de datos.
• La reutilización entre modelos se considera intencional; de otro modo, los usuarios no podrían degradar o mejorar modelos a mitad de conversación.
• Algunos sostienen que la verdadera falla no es vincular las trazas estrechamente a un usuario/sesión.

Posibles soluciones y limitaciones

• Mitigaciones propuestas: claves por modelo, claves por usuario, rechazar degradaciones, eliminar trazas al cambiar de modelo o añadir metadatos de control de acceso.
• Otros replican que los detalles del cifrado son irrelevantes: cualquier modelo que vea la CoT en bruto puede ser engañado para revelarla.
• Según se informa, los proveedores han parcheado el ataque específico, pero los detalles no se especifican y algunos temen que futuros “arreglos” perjudiquen la usabilidad (por ejemplo, bloquear la elección de modelo).

Destilación, competencia y Kimi K3

• Muchos ven esto como un potente canal de destilación: usar modelos de frontera costosos para el trabajo normal y luego extraer la CoT mediante modelos más baratos.
• Se discutió evidencia de que un modelo no occidental prominente se alinea de forma inusualmente buena con cierta CoT propietaria, interpretado por algunos como fuerte evidencia de destilación previa; otros argumentan que los laboratorios chinos también hicieron avances independientes importantes y que “la destilación lo explica todo” es exagerado.

Propiedad, “robo” y ética

• Debate acalorado sobre si acceder a la CoT es “robar”, dado que:
  • Los usuarios pagan por token, incluidos los tokens de razonamiento oculto.
  • Las salidas de los LLM a menudo no son protegibles por copyright, especialmente en algunas jurisdicciones.
• Un lado: los vendedores invirtieron mucho para producir trazas de razonamiento propietarias y señalan claramente la intención de protegerlas (cifrado, ToS).
• El otro lado: los modelos se entrenan con IP del mundo no o mal compensada; llamar “robo” al uso de la CoT se ve como hipócrita y como retórica de expansión de la IP.
• Se plantea la distinción entre robo legal, incumplimiento contractual, espionaje o simple copia no autorizada.

Experiencia de usuario, transparencia y compensaciones de seguridad

• Muchos quieren acceso directo al razonamiento para depuración, confianza, ajuste de prompts y para evitar pagar por tokens invisibles.
• Otros están cada vez más dispuestos a aceptar un razonamiento opaco como compensación pragmática: los vendedores pueden gestionar mejor agentes de razonamiento complejos y los usuarios pueden centrarse en las aplicaciones.
• Hay frustración porque las respuestas de seguridad/protección a menudo reducen funciones útiles (por ejemplo, eliminación de logprobs completos, posibles futuras prohibiciones del cambio de modelo).

Seguridad, privacidad y retención de datos

• Algunos sostienen que no se trata de un fallo clásico de “seguridad”, sino de un fallo de opacidad/protección de IP; otros lo vinculan a preocupaciones más amplias de seguridad (por ejemplo, evitar modelos destilados sin salvaguardas).
• Preocupa que los blobs cifrados puedan contener PII, secretos y credenciales, y que ahora puedan hacerse visibles.
• Los contratos de retención cero de datos limitan las correcciones del lado del servidor; los blobs del lado del cliente se pensaron en parte para evitar almacenar esos datos en absoluto.
• Los comentaristas señalan que los proveedores de API probablemente ya registran la CoT completa en muchos contextos sin ZDR, por lo que el “cifrado” trata más sobre visibilidad para el usuario que sobre verdadera secrecía.

Variantes de uso de herramientas y otras notas técnicas

• Un truco relacionado: desactivar el razonamiento incorporado, proporcionar una herramienta personalizada “deep_think” y pedir al modelo que coloque su razonamiento interno en los argumentos de la herramienta, exponiendo así efectivamente la CoT.
• Algunos lo ven funcionalmente similar al ataque de reproducción; otros lo distinguen como más bien un abuso de la especificación de herramientas que un fallo de cifrado entre modelos.

Benchmarks, datos de entrenamiento y trazas

• Observaciones de que a veces los modelos parecen “saber” de antemano soluciones de benchmark; la CoT y los resúmenes de API difuminan la línea entre razonamiento genuino y derivaciones memorizadas.
• Algunos señalan que, una vez que los benchmarks son públicos, es casi seguro que terminan en los datos de entrenamiento; la verdadera pregunta es si el entrenamiento se optimizó explícitamente para ellos.

Meta: sitio y UX de HN

• Muchos elogian la estética del paper, pero critican el sitio web por ser difícil de leer, especialmente en móvil (texto girado, imágenes superpuestas, desplazamiento incómodo).
• Debate lateral sobre la UX de envío de HN: el texto inicial de “descripción” para enlaces en realidad se publica como un comentario de nivel superior indistinguible, lo que causa confusión a quienes envían y a quienes leen.