Qwenputer: uma CPU RISC-V funcional e determinística dentro do Qwen3.5
Um novo experimento embute uma CPU RISC-V determinística, RAM e até um pequeno sistema de arquivos diretamente nos pesos do modelo de linguagem Qwen3.5, efetivamente transformando parte da rede neural em um computador convencional que o modelo pode chamar internamente. Os comentadores debatem se isso é um marco engenhoso de interpretabilidade e ferramentas ou apenas uma demonstração tecnológica superprojetada, enquanto exploram implicações para determinismo em LLMs, aprendizado contínuo, uso interno de ferramentas e a fusão entre computação simbólica e representações neurais. Muitos ficam intrigados com a perspectiva de modelos com “hardware” embutido e treinável para computação precisa e memória de longo prazo, mesmo que as implementações atuais sejam lentas, limitadas e um tanto artificiais.
Questões sobre implementação e mecanismo
- Vários perguntam como a emulação de CPU realmente funciona além do truque de RAM com atenção bloqueada: a CPU está “codificada” nos pesos ou foi treinada para implementar a função de passo do RISC-V?
- Alguns esclarecem que uma CPU pode ser vista como uma função pura do estado anterior para o próximo estado, o que se encaixa na visão de transformador-como-função.
- Outros ficam confusos sobre se isso é realmente “interno” ou, na prática, um pipeline especializado de runtime/ferramenta em espaço de tensores; o clock e o fluxo de controle também permanecem um pouco pouco claros.
Debate sobre determinismo e utilidade
- Uma ala vê isso como uma demonstração forte de que LLMs podem ser estritamente determinísticos quando engenhosamente projetados, contrariando o meme de que “LLMs são inerentemente não determinísticos”.
- Céticos argumentam que é um cenário de brinquedo: o uso de LLMs no mundo real continua efetivamente não determinístico, e isso não muda esse fato.
- Alguns dizem que é mais uma máquina de Rube Goldberg ou uma demonstração tecnológica (algo como rodar Doom em sistemas de tipos), interessante, mas supérflua.
- Outros acham genuinamente empolgante como uma forma de acoplar de perto computação simbólica com um “cérebro” de LLM.
Aprendizado contínuo, congelamento de pesos e memória
- Discussão sobre se seria possível manter essa CPU intacta enquanto o modelo continua sendo treinado.
- Ideias: congelar os pesos relacionados à CPU; usar métodos de fine-tuning que operem em subespaços “não usados” para preservar capacidades centrais.
- Preocupações: mesmo que algumas camadas sejam congeladas, mudanças em outras camadas poderiam tornar a CPU mais difícil de acessar ou de usar de forma confiável.
- Alguns veem essa arquitetura (CPU + RAM + sistema de arquivos nos pesos) como uma direção candidata para aprendizado contínuo e memória de longo prazo.
Unidades de computação embutidas e experimentos relacionados
- Vários participantes se interessam em incorporar módulos de computação reutilizáveis e congelados (por exemplo, FFTs, operações matemáticas, solucionadores, grafos de conhecimento) no meio do modelo, que a rede aprende a chamar internamente.
- Trabalhos anteriores e paralelos são citados: transformers que executam WASM, pequenas redes personalizadas que conseguem rodar Doom, redes no estilo dedução em reticulado e transformers artesanais como o AdderBoard.
Interpretabilidade, direcionamento e segurança
- Um fio lateral sobre “modo maligno” e steering por um único neurônio ou por direção em LLMs; conexões são feitas com trabalhos recentes de interpretabilidade e conceitos monossêmicos.
- Alguns temem que esses “interruptores” limpos, somados a pesos abertos, baixem a barreira para criar variantes nocivas.
- Piadas e comentários semissérios sobre agentes desalinhados, esconder comportamento em RAM/sistemas de arquivos internos, e isso ser o tipo de capacidade que agências de inteligência cobiçariam.
Limitações e críticas
- Comentadores observam que um runtime anfitrião personalizado ainda carrega firmware, controla quais camadas executam e roteia chamadas semelhantes a ferramentas internamente, então “sem runtime externo” é visto como algo um pouco exagerado.
- A precisão não é perfeita em alguns benchmarks de matemática, levantando questões sobre o valor de uma CPU que nem sempre computa corretamente.
- A reação geral mistura admiração pela engenhosidade com dúvidas sobre utilidade prática e eficiência.