Possível vazamento de sessão/cache entre instâncias de workspace ou contas de consumidores
Relatos de Claude Code gerando inesperadamente conteúdo relacionado ao Minecraft levantaram preocupações sobre possível vazamento de sessão ou cache entre usuários em sistemas LLM multi-tenant. Muitos comentaristas argumentam que o comportamento é mais provavelmente uma alucinação extrema desencadeada por contexto longo e termos incidentais como "minecraft.py", enquanto outros apontam para possíveis bugs de infraestrutura, mau uso do KV-cache ou request smuggling HTTP que poderiam trocar respostas entre usuários. A discussão destaca como é difícil distinguir alucinações de vazamentos reais de dados e como é desafiador construir e auditar uma infraestrutura de LLM acelerada por GPU, segura e bem isolada.
Natureza da Saída do Minecraft: Alucinação vs. Vazamento de Dados
- Muitos comentaristas acham que o incidente é mais provavelmente uma alucinação, e não um vazamento entre sessões ou entre contas.
- Argumentos para alucinação:
- “minecraft.py” e strings relacionadas já existiam no contexto/saídas de ferramentas do usuário.
- Contextos longos podem fazer os modelos desviarem ou “ficarem loucos”, incluindo mudanças de idioma e tangentes fora do assunto.
- Vozes céticas argumentam que o comportamento parece específico/improvável demais para uma alucinação normal e lembra fragmentos de conversas não relacionadas.
- Alguns observam que, de fora, alucinação, vazamento de contexto e bugs de infraestrutura podem parecer semelhantes e ser difíceis de distinguir.
Caching, KV Cache e Riscos de Multi-Tenant
- Vários comentários explicam que caches de prefixo/KV são compartilhados para economizar computação, normalmente identificados por tokens de entrada.
- Outros enfatizam que bugs de implementação em chaves de cache, funções hash, árvores radix ou reutilização de buffers podem causar contaminação entre tenants.
- Há debate sobre quão prováveis são colisões em cache de prefixo compartilhado; colisões de sessão completa são vistas como improváveis, mas trechos sobrepostos são plausíveis.
- Alguns destacam que multi-tenancy em GPU, hardware com sobrealocação e otimização agressiva tornam difícil a isolamento estrito.
Bugs de Infraestrutura e Roteamento (Além do Caching)
- Alguns participantes relatam incidentes anteriores (com vários grandes provedores) em que respostas foram trocadas entre usuários devido a problemas no nível HTTP (por exemplo, request smuggling / desync).
- Isso foi descrito como bugs de infraestrutura em que as respostas são roteadas incorretamente em trânsito, e não vazamentos de dados de treinamento retidos.
- Há preocupação de que esses bugs ainda possam violar expectativas de isolamento de dados (por exemplo, implicações regulatórias/de PHI), mesmo que os modelos tenham “zero data retention”.
Experiências Mais Amplas com Confiabilidade de LLMs
- Vários usuários relatam respostas semelhantes “aleatórias” ou desencontradas de outros modelos (Gemini, modelos chineses etc.), às vezes em idiomas diferentes ou domínios não relacionados.
- Alguns veem isso como evidência de infraestrutura frágil ou de tratamento de contexto; outros como algo típico de modelos grandes e estocásticos, especialmente sob contexto longo ou alta carga.
Preocupações de Segurança, Confiança e Depuração
- Comentadores observam que agentes de IA são difíceis de depurar, tornando difícil rastrear se os problemas vêm de alucinação, injeção de contexto ou bugs de infraestrutura.
- Há frustração com a transparência limitada; vários duvidam que um provedor admitiria totalmente uma falha séria de isolamento multi-tenant.
- Alguns enfatizam que a infraestrutura de LLM combina ferramentas imaturas, multi-tenancy complexa em GPU e alta sensibilidade, tornando toda a pilha “frágil”.