Heretic elimina restricciones de los modelos de lenguaje
Heretic es una herramienta de código abierto que “ablitera” las capas de seguridad de los modelos de lenguaje, usando ablación direccional para reducir drásticamente las tasas de rechazo mientras busca preservar la calidad general. Los comentaristas destacan su valor práctico para tareas legítimas que los modelos alojados suelen bloquear —como la ingeniería inversa de hardware que posees, probar CVEs en tu propia infraestructura o eludir ecosistemas restrictivos de proveedores—, a la vez que advierten que los datos subyacentes de entrenamiento pueden seguir careciendo de conocimiento sensible y que la calidad puede degradarse. El proyecto plantea preguntas más amplias sobre si los modelos sin censura deberían o podrían ser prohibidos, los límites de las técnicas actuales para detectar puertas traseras o comportamientos ocultos en pesos abiertos, y la compensación entre controles de seguridad y autonomía del usuario.
Enfoque técnico y métricas
- Heretic automatiza la “abliteration” sondeando los modelos con prompts rechazados y permitidos, y luego editando los pesos para que sus representaciones internas converjan, reduciendo así las negativas.
- Algunos consideran que las afirmaciones están exageradas, argumentando que los recuentos de rechazos y la divergencia KL pueden magnificar el impacto; otros responden que estas son métricas estándar en la literatura.
- Hay curiosidad sobre si una técnica similar podría aplicarse alguna vez al cerebro, pero los participantes señalan que nos falta una teoría granular de la computación neuronal.
Comportamiento del modelo y calidad después de la abliteration
- Varios usuarios informan que los modelos ablacionados dejan de rechazar, pero siguen dando respuestas pobres o incoherentes sobre temas previamente bloqueados (p. ej., armas, contenido extremista), como si “una parte del razonamiento” hubiera quedado dañada.
- Otros dicen que la caída de calidad es pequeña en muchas tareas, especialmente en ciertos modelos abiertos de tamaño medio; algunos describen variantes ablacionadas concretas como “mucho mejores” que intentos anteriores sin censura.
- Se enfatiza repetidamente que eliminar las negativas no añade conocimiento; si los datos de entrenamiento fueron censurados o filtrados, el modelo puede simplemente alucinar.
Entrenamiento, capas de seguridad y puertas traseras
- Una línea de discusión: en muchos modelos, las negativas son principalmente una capa posterior al entrenamiento, por lo que el conocimiento subyacente a menudo permanece, especialmente en temas políticos.
- Otra preocupación: los modelos de pesos abiertos pueden, en principio, ser comprometidos con puertas traseras mediante disparadores ocultos que son prácticamente imposibles de descubrir sistemáticamente con las herramientas de interpretabilidad actuales.
- Contrapunto: la apertura al menos permite análisis independiente y errores reproducibles, a diferencia de los modelos cerrados y alojados, donde el abuso dirigido es más difícil de detectar.
Usos prácticos y trabajo de seguridad
- Los casos de uso más elogiados son los “aburridos” pero bloqueados por los modelos alojados: ingeniería inversa de protocolos, explotación de CVE en la propia red, desbloqueo o reflasheo de dispositivos propios, o creación de herramientas alrededor de hardware propietario.
- Algunos argumentan que las salvaguardas actuales obstaculizan más a los defensores que a los atacantes, ya que los atacantes aún pueden usar modelos sin censura o en el extranjero y solo necesitan acertar una vez.
Debates legales, éticos y de acceso
- Hay desacuerdo sobre si los modelos ablacionados acabarán siendo o deberían ser prohibidos:
- Un lado dice que la aplicación sería como con los torrents o las drogas: prohibidos por ley, pero difíciles de suprimir.
- Otros advierten que incluso las prohibiciones simbólicas dan a las autoridades herramientas para perseguir a los usuarios.
- Las propuestas van desde la legalidad plena hasta el acceso restringido por edad, con preocupaciones sobre menores o personas inestables usando modelos locales potentes.
- Varios comentarios enmarcan las matemáticas y las operaciones matriciales como discurso protegido y ven las prohibiciones como una forma de censura.