Possível vazamento de sessão/cache entre instâncias de workspace ou contas de consumidores

Artigo original ↗ Discussão no Hacker News ↗

Natureza da Saída do Minecraft: Alucinação vs. Vazamento de Dados

  • Muitos comentaristas acham que o incidente é mais provavelmente uma alucinação, e não um vazamento entre sessões ou entre contas.
  • Argumentos para alucinação:
    • “minecraft.py” e strings relacionadas já existiam no contexto/saídas de ferramentas do usuário.
    • Contextos longos podem fazer os modelos desviarem ou “ficarem loucos”, incluindo mudanças de idioma e tangentes fora do assunto.
  • Vozes céticas argumentam que o comportamento parece específico/improvável demais para uma alucinação normal e lembra fragmentos de conversas não relacionadas.
  • Alguns observam que, de fora, alucinação, vazamento de contexto e bugs de infraestrutura podem parecer semelhantes e ser difíceis de distinguir.

Caching, KV Cache e Riscos de Multi-Tenant

  • Vários comentários explicam que caches de prefixo/KV são compartilhados para economizar computação, normalmente identificados por tokens de entrada.
  • Outros enfatizam que bugs de implementação em chaves de cache, funções hash, árvores radix ou reutilização de buffers podem causar contaminação entre tenants.
  • Há debate sobre quão prováveis são colisões em cache de prefixo compartilhado; colisões de sessão completa são vistas como improváveis, mas trechos sobrepostos são plausíveis.
  • Alguns destacam que multi-tenancy em GPU, hardware com sobrealocação e otimização agressiva tornam difícil a isolamento estrito.

Bugs de Infraestrutura e Roteamento (Além do Caching)

  • Alguns participantes relatam incidentes anteriores (com vários grandes provedores) em que respostas foram trocadas entre usuários devido a problemas no nível HTTP (por exemplo, request smuggling / desync).
  • Isso foi descrito como bugs de infraestrutura em que as respostas são roteadas incorretamente em trânsito, e não vazamentos de dados de treinamento retidos.
  • Há preocupação de que esses bugs ainda possam violar expectativas de isolamento de dados (por exemplo, implicações regulatórias/de PHI), mesmo que os modelos tenham “zero data retention”.

Experiências Mais Amplas com Confiabilidade de LLMs

  • Vários usuários relatam respostas semelhantes “aleatórias” ou desencontradas de outros modelos (Gemini, modelos chineses etc.), às vezes em idiomas diferentes ou domínios não relacionados.
  • Alguns veem isso como evidência de infraestrutura frágil ou de tratamento de contexto; outros como algo típico de modelos grandes e estocásticos, especialmente sob contexto longo ou alta carga.

Preocupações de Segurança, Confiança e Depuração

  • Comentadores observam que agentes de IA são difíceis de depurar, tornando difícil rastrear se os problemas vêm de alucinação, injeção de contexto ou bugs de infraestrutura.
  • Há frustração com a transparência limitada; vários duvidam que um provedor admitiria totalmente uma falha séria de isolamento multi-tenant.
  • Alguns enfatizam que a infraestrutura de LLM combina ferramentas imaturas, multi-tenancy complexa em GPU e alta sensibilidade, tornando toda a pilha “frágil”.