Heretic remove restrições de modelos de linguagem
Heretic é uma ferramenta de código aberto que “ablitera” camadas de segurança de modelos de linguagem, usando ablação direcional para reduzir drasticamente as taxas de recusa enquanto tenta preservar a qualidade geral. Os comentaristas destacam sua utilidade prática para tarefas legítimas que modelos hospedados costumam bloquear — como engenharia reversa de hardware de sua propriedade, teste de CVEs em sua própria infraestrutura ou contornar ecossistemas restritivos de fornecedores — ao mesmo tempo em que alertam que os dados de treinamento subjacentes ainda podem carecer de conhecimento sensível e que a qualidade pode degradar. O projeto levanta questões mais amplas sobre se modelos sem censura devem ou podem ser proibidos, os limites das técnicas atuais para detectar backdoors ou comportamentos ocultos em pesos abertos, e a troca entre controles de segurança e autonomia do usuário.
Abordagem técnica e métricas
- O Heretic automatiza a “abliteration” sondando modelos com prompts recusados e permitidos, e depois editando os pesos para que suas representações internas convirjam, reduzindo recusas.
- Alguns consideram as alegações exageradas, argumentando que contagens de recusas e divergência KL podem exagerar o impacto; outros respondem que essas são métricas padrão na literatura.
- Há curiosidade sobre se uma técnica semelhante algum dia poderia se aplicar a cérebros, mas os participantes observam que nos falta uma teoria granular da computação neural.
Comportamento do modelo e qualidade após a abliteration
- Vários usuários relatam que modelos ablated param de recusar, mas ainda fornecem respostas ruins ou incoerentes sobre tópicos antes bloqueados (por exemplo, armas, conteúdo extremista), como se “parte do raciocínio” tivesse sido danificada.
- Outros dizem que a queda de qualidade é pequena em muitas tarefas, especialmente em alguns modelos abertos de médio porte; alguns descrevem variantes abladas específicas como “muito melhores” do que tentativas antigas de censura removida.
- É repetidamente enfatizado que remover recusas não adiciona conhecimento; se os dados de treinamento foram censurados ou filtrados, o modelo pode simplesmente alucinar.
Treinamento, camadas de segurança e backdoors
- Uma linha de discussão: em muitos modelos, as recusas são principalmente uma camada pós-treinamento, então o conhecimento subjacente muitas vezes permanece, especialmente em tópicos políticos.
- Outra preocupação: modelos de pesos abertos podem, em princípio, ser comprometidos com gatilhos ocultos que são efetivamente impossíveis de descobrir sistematicamente com as ferramentas de interpretabilidade atuais.
- Contraponto: a abertura ao menos permite análise independente e bugs reproduzíveis, ao contrário de modelos fechados e hospedados, onde o abuso direcionado é mais difícil de detectar.
Usos práticos e trabalho de segurança
- Os casos de uso mais elogiados são “banais”, mas bloqueados por modelos hospedados: engenharia reversa de protocolos, exploração de CVEs na própria rede, desbloqueio ou regravação de dispositivos de propriedade do usuário, ou construção de ferramentas em torno de hardware proprietário.
- Alguns argumentam que as salvaguardas atuais dificultam mais os defensores do que os atacantes, já que os atacantes ainda podem usar modelos sem censura ou hospedados no exterior e só precisam ter sucesso uma vez.
Debates legais, éticos e de acesso
- Há discordância sobre se modelos ablados serão ou deveriam ser proibidos:
- Um lado diz que a aplicação seria parecida com torrents ou drogas — proibidos por lei, mas difíceis de suprimir.
- Outros alertam que até proibições simbólicas dão às autoridades ferramentas para mirar usuários.
- As propostas vão da legalidade total ao acesso com restrição de idade, com preocupações sobre menores ou indivíduos instáveis usando modelos locais poderosos.
- Vários comentários enquadram matemática e operações com matrizes como discurso protegido e veem proibições como uma forma de censura.