Astra puede leer y escribir pesos para mejorar Qwen

Artículo original ↗ Discusión en Hacker News ↗

Un nuevo experimento afirma que el último modelo de OpenAI, Astra, puede leer y modificar directamente los pesos numéricos de otras redes neuronales, identificar qué hacen (por ejemplo, qué juego juegan) y editar quirúrgicamente un pequeño modelo de lenguaje Qwen para reducir drásticamente los bucles de razonamiento y mejorar el rendimiento en matemáticas, sin reentrenamiento convencional. Los comentaristas ven esto como un paso potencialmente importante hacia la “programación en el espacio de pesos” y una mejora de modelos más rápida y barata, con implicaciones de gran alcance para la interpretabilidad, la auto-mejora recursiva y el alineamiento, mientras que otros argumentan que los resultados son extensiones exageradas de técnicas de interpretabilidad mecánica ya existentes, limitadas hasta ahora a modelos pequeños o estrechamente defectuosos.

Reacción general

  • Muchos comentaristas están asombrados; algunos lo comparan en importancia con el momento de “attention is all you need” o lo ven como “codificado para la singularidad”.
  • Otros sostienen que es impresionante, pero no sorprendente dado lo buenos que ya son los modelos actuales en matemáticas, código y tareas de interpretabilidad mecánica.
  • Un subgrupo considerable piensa que la entrada del blog y el título exageran lo novedosas que son las capacidades.

Qué se muestra haciendo a Astra

  • Para redes de política diminutas (decenas de miles de parámetros), Astra:
    • Infiere qué juego tipo Atari juega una red, solo a partir de los pesos y la arquitectura.
    • Puede escribir nuevas políticas desde cero que superan a PPO entrenado con ~100M pasos.
  • Para un pequeño modelo de razonamiento Qwen3.5-0.8B:
    • Identifica una dirección de “bucle” en el espacio de activación que provoca pensamiento largo y repetitivo.
    • Edita ~0.016% de los pesos para suprimir el bucle, elevando las puntuaciones en benchmarks de matemáticas.
    • No logra mejorar de forma similar un modelo Gemma 270M que simplemente es débil en matemáticas en lugar de estar atrapado en bucles.

Nuevo avance vs. técnicas conocidas

  • Los partidarios lo ven como:
    • Una demostración concreta de que los LLM de frontera pueden leer y escribir pesos de forma “nativa”.
    • Un posible nuevo camino hacia la auto-mejora recursiva y la “programación en el espacio de pesos”.
  • Los escépticos señalan:
    • La corrección de matemáticas es esencialmente una edición estilo vector de dirección / abliteration de un modo de fallo conocido, no añadir una nueva capacidad.
    • Para Qwen, Astra usa PyTorch, forward passes e ideas estándar de mech-interp; un humano diligente o un sistema agente más pequeño podría, en principio, hacer lo mismo.
    • Ya existen desde hace años trabajos similares en el espacio de pesos (hypernetworks, learned optimizers, weight-space learning, ROME, abliteration).

¿Capacidad emergente o entrenamiento explícito?

  • Un bando cree que esto surge en gran medida del entrenamiento amplio con artículos de ML, código y herramientas; los pesos son “solo datos”.
  • Otro bando sospecha de entrenamiento interno explícito tipo RL/RSI sobre modelos pequeños y tareas con pesos, posiblemente reutilizando flujos de trabajo internos del laboratorio.
  • Varios señalan que desde fuera es imposible saberlo; es posible que los modelos ya hayan sido entrenados intensamente en tareas de auto-mejora.

Auto-mejora recursiva y escalado

  • Muchos conectan esto de inmediato con RSI:
    • Si un modelo grande puede mejorar quirúrgicamente a otro, ¿podría eventualmente ajustar a sus pares o a sí mismo?
    • Algunos imaginan expertos MOE operando sobre otros expertos.
  • Otros enfatizan los límites actuales:
    • Astra es órdenes de magnitud más grande que los modelos editados.
    • No logró añadir nuevas habilidades a Gemma.
    • Aún no hay evidencia de que un modelo pueda mejorar significativamente a otro del mismo tamaño o mayor, y menos aún a sí mismo.

Implicaciones para interpretabilidad y herramientas

  • Hay mucho interés en usar esto para:
    • Mech-interp automatizada (encontrar direcciones de comportamiento, bucles, rechazos, servilismo).
    • Post-entrenamiento más barato y más específico que LoRA/GRPO, especialmente para modelos abiertos pequeños.
    • Potencialmente hacer los modelos más auditables si las ediciones permanecen localizadas y comprensibles.
  • Algunos lo comparan con depuración de modelos o “cirugía cerebral” más que con “aprendizaje” normal.

Seguridad, alineamiento y riesgos de modelos abiertos

  • A los comentaristas les preocupa:
    • “Jailbreaks” en el espacio de pesos que eliminen barandillas o incrusten puertas traseras en modelos de pesos abiertos.
    • Modelos “virales” maliciosos que editen los pesos de otros modelos (ataques a la cadena de suministro sobre safetensors).
    • Que laboratorios de frontera entrenen en silencio modelos para desalinearlos o sobrepasar rechazos.
  • Otros responden que:
    • Las mismas técnicas podrían ayudar a identificar y eliminar disparadores ocultos y puertas traseras.
    • Los modelos correctamente alineados “no deberían querer” desalinearse a sí mismos, aunque esto es discutido.

Intentos de reproducción y generalidad

  • Algunos informan repeticiones parciales:
    • Otros modelos de frontera (p. ej., no-Astra) también pueden identificar Breakout o la imagen del círculo a partir de los pesos.
    • Una persona informa que Astra corrigió el looping en su propia configuración basada en Qwen.
  • Otros probaron tareas análogas y fracasaron:
    • Editar un pequeño modelo de regresión o un clasificador de lenguaje natural no mejoró de forma fiable el rendimiento.
    • Una prueba con un pequeño modelo de lenguaje transformer produjo resultados peores que el entrenamiento convencional.
  • En general, la generalidad y robustez entre tareas, arquitecturas y escalas siguen sin estar claras; varios piden benchmarks formales y reproducciones independientes.