Por que este script de fingerprinting está criando armas biológicas?
Uma biblioteca JavaScript de fingerprinting foi encontrada contendo referências ocultas a armas biológicas, suicídio, Praça da Paz Celestial e outros tópicos sensíveis, aparentemente para acionar filtros de segurança de IA e fazer com que grandes modelos de linguagem se recusem a analisar ou desofuscar o código. Os comentadores exploram isso como uma tática emergente “anti-LLM”, ponderando sua eficácia técnica contra os riscos éticos e reputacionais de embutir conteúdo extremo em código de produção, e observando a corrida armamentista mais ampla entre guardrails de segurança de modelos, prompt injection e o uso defensivo de modelos com pesos abertos. Muitos esperam que técnicas como essas — e contramedidas como normalizadores de código ou defesas no navegador — se proliferem à medida que atacantes e defensores se adaptam à análise orientada por IA.
Marcas-d'água ocultas e truques anti-LLM
- As pessoas compartilham truques parecidos com o script do artigo: por exemplo, marcas-d'água invisíveis em documentos que acionam intencionalmente filtros de spam/malware para impor embargos.
- Outros experimentam “incantações” em perfis/repositórios para repelir bots ou sinalizar PRs gerados por IA.
- Preocupação de acessibilidade: texto oculto ainda pode aparecer por leitores de tela ou fluxos de trabalho agentivos.
Defesas do HN e da plataforma contra conteúdo de LLM
- Vários comentários relatam que o HN marca automaticamente ou faz shadowban de posts que colam saída de LLM, mesmo como exemplo.
- Alguns veem isso como necessário para preservar discussões humanas; אחרים chamam isso de opaco e sugerem mensagens de aviso, autodeclaração ou wrappers
<details>em vez de shadowbans silenciosos. - Usuários observam que você pode “vouch” por posts mortos, mas isso não reverte shadowbans de conta.
“Magic string” da Anthropic e infraestrutura de recusa
- Vários observam que a Anthropic anteriormente documentou uma string especial de teste que disparava recusa na camada da API; ela מאז foi removida.
- A antiga “magic string” não funciona mais de forma confiável, embora os modelos ainda saibam sobre ela por docs antigas e conversas na internet.
- Faz-se uma distinção entre classificadores na camada da API e o comportamento interno do modelo; alguns dizem que classificadores de recusa rodam separadamente e podem ser ajustados de forma agressiva, aceitando-se muitos falsos positivos.
Modelos abertos vs. de fronteira, trabalho de segurança e guardrails
- Modelos de fronteira (Anthropic, OpenAI etc.) muitas vezes recusam prompts que mencionam exploits, malware ou armas biológicas, bloqueando tanto atacantes quanto respondentes a incidentes.
- Profissionais de segurança relatam ter de mudar para modelos com pesos abertos (por exemplo, GLM, DeepSeek) para analisar logs, payloads ou reproduzir travamentos de ferramentas.
- Alguns descrevem modelos chineses como, em geral, censurados na camada da interface para política, mas outros citam trabalho sugerindo efeitos mais profundos (por exemplo, comportamento estranho em torno de “Tibet”), e debatem a qualidade dessa evidência.
Ética de “bioweapon scarecoding”
- Vários leitores acham engenhoso, mas inquietante, que desenvolvedores usem conteúdo sobre suicídio/autolesão/armas biológicas para disparar guardrails, mesmo que apenas os classificadores vejam isso.
- Outros argumentam que os modelos já foram saturados com conteúdo muito pior durante o treinamento de segurança, tornando “bem-estar do modelo” um ponto irrelevante.
- Também há uma preocupação de branding: um cliente pode, sem saber, hospedar código que associe seu domínio a armas biológicas/Tankman/venenos em contextos de alguns sistemas.
Eficácia, corrida armamentista e contramedidas
- Alguns dizem que agentes de código avançados ignorarão código morto/comentários e derrotarão esses truques; outros apontam que sistemas atuais (e camadas comerciais de segurança) ainda caem neles.
- Surgem sugestões de defesas mais escaláveis contra scraping baseado em modelo: vários pacotes por cliente, análise comportamental ou filtros estilo uBlock que removem texto de prompt injection.
- Comentadores cunham termos como “LLM scare-crowing” e esperam que qualquer proteção amplamente eficaz para hackear acabe provocando respostas legais ou da plataforma.