Qwenputer: una CPU RISC-V determinista y funcional dentro de Qwen3.5
Un nuevo experimento incrusta una CPU RISC‑V determinista, RAM e incluso un pequeño sistema de archivos directamente dentro de los pesos del modelo de lenguaje Qwen3.5, convirtiendo efectivamente parte de la red neuronal en una computadora convencional que el modelo puede llamar internamente. Los comentaristas debaten si se trata de un hito ingenioso en interpretabilidad y herramientas o solo de una demo técnica sobredimensionada, mientras exploran las implicaciones para el determinismo en los LLM, el aprendizaje continuo, el uso interno de herramientas y la mezcla de computación simbólica con representaciones neuronales. A muchos les intriga la posibilidad de modelos con “hardware” integrado y entrenable para cómputo preciso y memoria a largo plazo, aunque las implementaciones actuales sean lentas, limitadas y algo forzadas.
Preguntas sobre implementación y mecanismo
- Varios preguntan cómo funciona realmente la emulación de CPU más allá del truco de la RAM con atención controlada: si la CPU está “codificada a mano” en los pesos o si se entrenó para implementar la función de paso de RISC-V.
- Algunos aclaran que una CPU puede verse como una función pura del estado previo al siguiente estado, lo que encaja con la visión del transformador como función.
- Otros tienen dudas sobre si esto es realmente “interno” o si en la práctica es un canal de ejecución/herramientas especializado en espacio tensorial; el reloj y el flujo de control también quedan algo poco claros.
Debate sobre determinismo y utilidad
- Un bando ve esto como una demostración sólida de que los LLM pueden ser estrictamente deterministas cuando se diseñan con cuidado, contrarrestando el meme de que los “LLM son inherentemente no deterministas”.
- Los escépticos argumentan que es una configuración de juguete: el uso real de LLM en el mundo sigue siendo efectivamente no determinista, y esto no cambia eso.
- Algunos dicen que se parece más a una máquina de Rube Goldberg o a una demo técnica (como ejecutar Doom en tipos), interesante pero superflua.
- Otros lo encuentran genuinamente emocionante como forma de acoplar estrechamente computación simbólica con un “cerebro” LLM.
Aprendizaje continuo, congelación de pesos y memoria
- Se debate si podrías mantener esta CPU intacta mientras sigues entrenando el modelo.
- Ideas: congelar los pesos relacionados con la CPU; usar métodos de ajuste fino que operen en subespacios “no usados” para preservar las capacidades centrales.
- Preocupaciones: incluso si algunas capas se congelan, los cambios en otras capas podrían hacer que la CPU sea más difícil de acceder o usar de forma fiable.
- Algunos ven esta arquitectura (CPU + RAM + sistema de archivos en los pesos) como una posible dirección para aprendizaje continuo y memoria a largo plazo.
Unidades de cómputo integradas y experimentos relacionados
- Varios participantes están interesados en incrustar módulos de cómputo reutilizables y congelados (p. ej., FFT, operaciones matemáticas, solucionadores, grafos de conocimiento) en medio del modelo, para que la red aprenda a llamarlos internamente.
- Se citan trabajos previos y paralelos: transformadores que ejecutan WASM, pequeñas redes personalizadas que pueden ejecutar Doom, redes al estilo de inferencia sobre retículas, y transformadores artesanales tipo AdderBoard.
Interpretabilidad, dirección y seguridad
- Hilo lateral sobre el “modo malvado” y el steering de una sola neurona o basado en direcciones en LLM; se hacen conexiones con trabajos recientes de interpretabilidad y conceptos mono-semánticos.
- Algunos temen que estos “interruptores” tan claros, junto con pesos abiertos, reduzcan la barrera para crear variantes dañinas.
- Bromas y comentarios semiserios sobre agentes desalineados, ocultar comportamiento en RAM/sistemas de archivos internos, y que este sea el tipo de capacidad que las agencias de inteligencia codiciarían.
Limitaciones y críticas
- Los comentaristas señalan que un runtime host personalizado sigue cargando firmware, controla qué capas se ejecutan y enruta llamadas tipo herramienta internamente, así que “sin runtime externo” se considera algo exagerado.
- La precisión no es perfecta en algunos benchmarks matemáticos, lo que plantea dudas sobre el valor de una CPU que no siempre calcula correctamente.
- La reacción general mezcla admiración por la ingeniosidad con dudas sobre la utilidad práctica y la eficiencia.