Progresso na inferência comprovável para grandes modelos de linguagem

O trabalho da Anthropic em “inferência comprovável” para grandes modelos de linguagem — usando provas de conhecimento zero para verificar criptograficamente que um modelo e pesos específicos produziram uma determinada saída — é visto como um passo significativo para auditabilidade, transparência em roteamento e possível regulação do uso de computação em IA. Os comentaristas debatem o quanto isso realmente é útil para usuários finais que já precisam confiar nos provedores com seus dados, observando a enorme sobrecarga de desempenho, a praticidade limitada no estado atual e a possibilidade de que isso proteja principalmente os modelos de negócio dos fornecedores ou facilite a captura regulatória. Outros destacam casos de uso emergentes, como avaliadores de terceiros, segurança da cadeia de suprimentos para serviços de IA e extensões futuras para provar como os modelos foram treinados, ao mesmo tempo em que levantam preocupações sobre atribuição e pesquisa de código aberto sendo absorvida por sistemas proprietários.

O que a inferência comprovável tenta resolver

  • Objetivo: permitir que um cliente verifique que um modelo específico (pesos específicos) produziu uma resposta, mesmo sobre infraestrutura não confiável ou por meio de roteadores de terceiros.
  • Motivações citadas:
    • Avaliações independentes que precisam de garantia de que o modelo avaliado é o mesmo que está sendo servido.
    • Clientes de serviços de roteamento/proxy querendo prova de que receberam o modelo pelo qual pagaram.
    • Detectar adulteração de tokens ou substituição de modelo (por exemplo, variantes mais baratas, quantizadas ou “lobotomizadas”).

Debate sobre valor prático e modelo de ameaça

  • Defensores veem isso como essencial para:
    • Segurança da cadeia de suprimentos de IA e “defesa em profundidade”.
    • Empresas de auditoria e garantia fazendo avaliação de caixa-preta.
    • Prevenir fraude por revendedores ou roteadores duvidosos.
  • Céticos argumentam:
    • Se você não confia no provedor com seus dados, verificar os pesos é o menor dos seus problemas.
    • Isso não aborda privacidade, exfiltração de dados ou a correção das respostas.
    • Para muitos usuários, trata-se de uma preocupação de nicho ou interna, não de um problema prático principal.

Limites técnicos e desempenho

  • Sistema atual: pesos somente inteiros, decodificação gulosa, comprimento de contexto de ~1k.
  • A geração da prova é ~70–95× o tempo de GPU da inferência normal; a verificação é ~17–21s de CPU e ~6,5 MB por comprometimento.
  • Alguns veem isso como progresso, mas ainda muito longe da viabilidade em produção para cargas de trabalho gerais.

Quantização, substituição e pesos abertos

  • Discussão sobre se isso consegue detectar hospedeiros usando silenciosamente modelos quantizados ou rebaixados.
  • Para modelos de pesos abertos, alguns argumentam que recomputar de forma determinística pode ser mais barato do que provas ZK.
  • Atestação poderia, em princípio, provar checkpoint e quantização exatos; este sistema atualmente oferece suporte principalmente a versões integerizadas.

Comparação com alternativas

  • Comparado com:
    • Computação confidencial em hardware / atestação remota (vista por alguns como mais prática, mas dependente de hardware).
    • Watermarking (prova que “veio deste provedor”, não que “veio destes pesos para esta entrada”).
    • Recomputation entre múltiplos provedores e HTTPS para integridade em modelos de ameaça mais simples.

Implicações regulatórias e de negócios

  • Alguns veem isso como algo que viabiliza regimes regulatórios que monitoram o uso de hardware (inferência versus treinamento) e como potencial captura regulatória / lock-in.
  • Outros veem isso como uma forma de manter prêmios de preço para modelos “premium” quando roteadores poderiam, de outra forma, substituir por modelos mais baratos.

Proveniência e atribuição do treinamento

  • Vários comentaristas destacam que o treinamento comprovável (prova de que um modelo foi treinado apenas com certos dados) seria muito mais impactante, mas também muito mais difícil.
  • Há uma discussão paralela sobre trabalhos acadêmicos anteriores (por exemplo, VerInf), licenciamento (MIT versus GPL) e percepções de atribuição inadequada na descrição da Anthropic.