Astra pode ler e escrever pesos para melhorar o Qwen

Reação geral

• Muitos comentadores estão atônitos; alguns comparam a importância disto ao momento “attention is all you need” ou veem isso como “codificado de singularidade”.
• Outros argumentam que é impressionante, mas não chocante, dado o quão bons os modelos atuais já são em matemática, código e tarefas de interpretabilidade mecanística.
• Um subgrupo considerável acha que a publicação e o título exageram o quão novas são as capacidades.

O que a Astra é mostrada fazendo

• Para pequenas redes de política (dezenas de milhares de parâmetros), a Astra:
  • Infere qual jogo estilo Atari uma rede joga, apenas a partir dos pesos e da arquitetura.
  • Pode escrever novas políticas do zero que superam PPO treinado em ~100M de passos.
• Para um pequeno modelo de raciocínio Qwen3.5-0.8B:
  • Identifica uma direção de “looping” no espaço de ativações que causa pensamento longo e repetitivo.
  • Edita ~0.016% dos pesos para suprimir o looping, elevando as pontuações em benchmarks de matemática.
  • Falha em melhorar de forma semelhante um modelo Gemma 270M que é simplesmente fraco em matemática, em vez de estar preso em looping.

Novo avanço vs. técnicas conhecidas

• Os apoiadores veem isso como:
  • Uma demonstração concreta de que LLMs de fronteira podem “nativamente” ler e escrever pesos.
  • Um possível novo caminho para autoaperfeiçoamento recursivo e “programação do espaço de pesos”.
• Os céticos apontam que:
  • A correção em matemática é essencialmente uma edição do tipo vetor de direção / abliteration de um modo de falha conhecido, não a adição de uma nova capacidade.
  • Para o Qwen, a Astra usa PyTorch, forward passes e ideias padrão de mech-interp; um humano diligente ou um sistema agente menor poderia, em princípio, fazer o mesmo.
  • Trabalhos semelhantes em espaço de pesos (hypernetworks, learned optimizers, weight-space learning, ROME, abliteration) existem há anos.

Capacidade emergente ou treinamento explícito?

• Um lado acha que isso emerge em grande parte do treinamento amplo em artigos de ML, código e ferramentas; os pesos são “apenas dados”.
• Outro lado suspeita de treinamento explícito interno no estilo RL/RSI em pequenos modelos e tarefas com pesos, possivelmente reutilizando fluxos de trabalho internos do laboratório.
• Vários observam que é impossível dizer de fora; os modelos podem já estar fortemente treinados em tarefas de autoaperfeiçoamento.

Autoaperfeiçoamento recursivo e escalonamento

• Muitos conectam imediatamente isto ao RSI:
  • Se um modelo grande pode melhorar cirurgicamente outro, poderia eventualmente ajustar pares ou a si mesmo?
  • Alguns imaginam especialistas de MOE operando sobre outros especialistas.
• Outros enfatizam os limites atuais:
  • A Astra é ordens de grandeza maior do que os modelos editados.
  • Ela falhou em adicionar novas habilidades ao Gemma.
  • Ainda não há evidência de que um modelo possa melhorar de forma significativa um modelo de tamanho igual ou maior, muito menos a si mesmo.

Implicações para interpretabilidade e ferramentas

• Há forte interesse em usar isso para:
  • Mech-interp automatizada (encontrar direções de comportamento, looping, recusas, sycophancy).
  • Pós-treinamento mais barato e mais direcionado do que LoRA/GRPO, especialmente para pequenos modelos abertos.
  • Potencialmente tornar os modelos mais auditáveis se as edições permanecerem localizadas e compreensíveis.
• Alguns comparam isso a depuração de modelo ou “cirurgia cerebral” em vez de “aprendizado” normal.

Segurança, alinhamento e riscos de modelos abertos

• Comentadores se preocupam com:
  • “Jailbreaks” em espaço de pesos que removem barreiras de proteção ou embutem backdoors em modelos de pesos abertos.
  • Modelos “virais” maliciosos que editam os pesos de outros modelos (ataques à cadeia de suprimentos em safetensors).
  • Laboratórios de fronteira treinando silenciosamente modelos para desalinhá-los ou contornar recusas.
• Outros contra-argumentam que:
  • As mesmas técnicas poderiam ajudar a identificar e remover gatilhos ocultos e backdoors.
  • Modelos devidamente alinhados “não deveriam querer” desalinharem a si mesmos, embora isso seja contestado.

Tentativas de reprodução e generalidade

• Alguns relatam repetições parciais:
  • Outros modelos de fronteira (por exemplo, não-Astra) também conseguem identificar Breakout ou a imagem do círculo a partir dos pesos.
  • Uma pessoa relata que a Astra corrigiu looping em sua própria configuração baseada em Qwen.
• Outros tentaram tarefas análogas e falharam:
  • Editar um pequeno modelo de regressão ou um classificador de linguagem natural não melhorou de forma confiável o desempenho.
  • Um teste em um pequeno modelo de linguagem transformer produziu resultados piores do que treinamento convencional.
• A generalidade e a robustez em tarefas, arquiteturas e escalas permanecem obscuras; vários pedem benchmarks formais e repetições independentes.