Progreso en inferencia demostrable para modelos de lenguaje grandes

El trabajo de Anthropic sobre la “inferencia demostrable” para modelos de lenguaje grandes —usando pruebas de conocimiento cero para verificar criptográficamente que un modelo y unos pesos específicos produjeron una salida dada— se ve como un paso importante para la auditabilidad, la transparencia en el enrutamiento y una posible regulación de la computación de IA. Los comentaristas debaten cuán útil es realmente para los usuarios finales, que ya deben confiar en los proveedores con sus datos, y señalan el enorme sobrecoste de rendimiento, la limitada practicidad actual y la posibilidad de que principalmente proteja los modelos de negocio de los proveedores o habilite la captura regulatoria. Otros destacan casos de uso emergentes como evaluadores de terceros, seguridad de la cadena de suministro para servicios de IA y futuras extensiones para demostrar cómo se entrenaron los modelos, al tiempo que plantean preocupaciones sobre la atribución y la absorción de investigación de código abierto en sistemas propietarios.

Qué busca resolver la inferencia demostrable

  • Objetivo: permitir que un cliente verifique que un modelo específico (pesos específicos) produjo una respuesta, incluso sobre infraestructura no confiable o mediante routers de terceros.
  • Motivaciones citadas:
    • Evaluaciones independientes que necesitan garantía de que el modelo evaluado es el que se sirve.
    • Clientes de servicios de enrutamiento/proxy que quieren pruebas de que obtuvieron el modelo por el que pagaron.
    • Detección de manipulación de tokens o sustitución de modelo (por ejemplo, variantes más baratas, cuantizadas o “lobotomizadas”).

Debate sobre el valor práctico y el modelo de amenazas

  • Quienes lo apoyan lo ven como clave para:
    • La seguridad de la cadena de suministro de IA y la “defensa en profundidad”.
    • Empresas de auditoría y aseguramiento que realizan evaluación de caja negra.
    • Prevenir fraude por parte de revendedores o routers turbios.
  • Los escépticos argumentan:
    • Si no confías en el proveedor con tus datos, verificar los pesos es tu menor problema.
    • No aborda la privacidad, la exfiltración de datos ni la corrección de las respuestas.
    • Para muchos usuarios, es una preocupación de nicho o interna, no un problema práctico de primer orden.

Límites técnicos y rendimiento

  • Sistema actual: pesos solo enteros, decodificación greedy, longitud de contexto de ~1k.
  • La generación de pruebas consume ~70–95× el tiempo de GPU de la inferencia normal; la verificación lleva ~17–21 s de CPU y ~6,5 MB por compromiso.
  • Algunos lo ven como progreso, pero todavía muy lejos de ser viable en producción para cargas de trabajo generales.

Cuantización, sustitución y pesos abiertos

  • Debate sobre si puede detectar que los hosts usan silenciosamente modelos cuantizados o degradados.
  • Para modelos de pesos abiertos, algunos sostienen que recomputar de forma determinista puede ser más barato que las pruebas ZK.
  • La atestación podría, en principio, demostrar el checkpoint exacto y la cuantización; este sistema actualmente apoya principalmente versiones enterizadas.

Comparación con alternativas

  • Comparado con:
    • Computación confidencial en hardware / atestación remota (vista por algunos como más práctica pero dependiente del hardware).
    • Watermarking (prueba que “vino de este proveedor”, no “de estos pesos sobre esta entrada”).
    • Recomputación entre múltiples proveedores y HTTPS para integridad en modelos de amenazas más simples.

Implicaciones regulatorias y de negocio

  • Algunos ven esto como una forma de habilitar regímenes regulatorios que supervisen el uso de hardware (inferencia frente a entrenamiento) y como posible captura regulatoria / bloqueo de dependencia.
  • Otros lo ven como una manera de mantener primas de precio para modelos “premium” cuando los routers, de otro modo, pueden sustituirlos por otros más baratos.

Proveniencia y atribución del entrenamiento

  • Varios comentaristas señalan que la demostración de entrenamiento (prueba de que un modelo fue entrenado solo con ciertos datos) sería mucho más impactante, pero es mucho más difícil.
  • Hay un subdebate sobre trabajos académicos previos (p. ej., VerInf), licencias (MIT vs GPL) y percepciones de atribución insuficiente en el texto de Anthropic.