A postagem 'Astra pode ler e escrever pesos para melhorar o Qwen' é enganosa
Alegações de que o modelo Astra da Anthropic pode “ler e escrever nativamente pesos de redes neurais” para melhorar drasticamente outro modelo (Qwen) estão sendo contestadas como exageradas e possivelmente enganosas. Críticos argumentam que os resultados que soam mais impressionantes envolvem либо redes pequenas de brinquedo cujos pesos cabem diretamente no contexto, ou dependem de Astra escrever código Python para analisar e ajustar pesos usando técnicas conhecidas de interpretabilidade mecânica e steering, em vez de alguma nova capacidade de “linguagem de pesos”. Muitos ainda veem o trabalho como interessante — mostrando que LLMs podem automatizar tarefas de pesquisa em ML —, mas alertam que títulos e resumos inflados estão alimentando a “psicose” de IA e corroendo a confiança nas alegações de pesquisa.
A postagem sobre Astra/Qwen foi enganosa?
- Muitos argumentam que o título/resumo (“pode ler e escrever pesos nativamente”, “apenas olhando para os pesos brutos”, “da mesma forma” com Qwen) exagera ou conecta de modo ambíguo experimentos distintos, levando muitos leitores a pensar que Astra editou o Qwen lendo diretamente seus pesos brutos completos.
- Outros dizem que o texto fica claro se você realmente o lê; o problema real é as pessoas passando os olhos em títulos e resumos, além de comentários de baixo esforço amplificando mal-entendidos.
- Vários comentaristas enquadram isso como o típico exagero/marketing em ML moderno, e não como uma mentira aberta; outros chamam de “má prática”, dado o erro de interpretação previsível.
Edição de pesos “nativa” vs agentes de código
- Separação esclarecida:
- Redes pequenas “toy” (de dezenas a centenas de milhares de parâmetros) em que os pesos são colocados diretamente no contexto e analisados quase como imagens.
- Experimentos com modelos maiores (por exemplo, Qwen) em que Astra escreve ferramentas em Python para carregar, analisar e modificar pesos (por exemplo, vetores de direção, ablações), sem jamais ver os pesos brutos completos em contexto.
- Críticos dizem que misturar isso como uma única capacidade “nativa” é enganoso; as partes em maior escala são essencialmente tarefas avançadas de programação/engenharia de ML que humanos já fazem.
- Defensores respondem que escrever e orquestrar essas ferramentas sobre pesos ainda é “trabalhar com pesos” e que a distinção é supervalorizada.
Novidade vs trabalho anterior e dificuldade
- Interpretabilidade mecânica e steering/ablação em espaço de pesos são apontados como áreas já existentes; vários veem Astra בעיקרamente como um praticante automatizado extremamente capaz de técnicas conhecidas.
- Alguns pesquisadores de ML dizem que a “melhoria matemática” do Qwen consiste principalmente em destravar um problema de looping por meio de steering, não em criar nova capacidade, e é algo aproximadamente de um “projeto introdutório de interp” para humanos.
- Outros, especialmente não especialistas, relatam que as ideias são genuinamente novas para eles e praticamente úteis, permitindo edições manuais-like de pesos ou pequenos modelos “programados” por um LLM sem treinamento completo.
Melhoria recursiva de si mesmo e implicações
- Alguns vinculam esse trabalho a visões de IA melhorando recursivamente seus próprios pesos; céticos respondem que, enquanto houver agentes de codificação semelhantes aos humanos no circuito, isso está mais próximo de “trabalho sobre-humano” do que de um regime qualitativamente novo de inteligência.
- Há interesse em usar essas técnicas para podar comportamentos nocivos, como otimizadores dentro de loops de treinamento, ou para gerar automaticamente pequenos modelos específicos para tarefas.
HN, hype e discurso sobre IA
- Vários comentários lamentam a “psicose” de IA (tanto hype quanto anti-hype), papers supervendidos e dinâmicas superficiais de votos/comentários.
- Outros enfatizam que esse escrutínio em si é saudável: questionar agressivamente as alegações, separar o “leitura nativa” de redes pequenas dos experimentos baseados em código com redes maiores e resistir a narrativas sensacionalistas.