Estoy haciendo que los LLM funcionen en dispositivos pequeños y antiguos

Los esfuerzos por ejecutar modelos de lenguaje cada vez más grandes en hardware sorprendentemente débil y antiguo —desde iPads de primera generación y decodificadores de TV hasta routers, consolas y hasta vapes— están evolucionando hacia una especie de desafío de ingeniería “¿puede ejecutar Qwen?”. Los participantes intercambian técnicas como transmisión de pesos, cuantización extrema y kernels personalizados, mientras debaten si los modelos diminutos o muy optimizados pueden ser realmente útiles para tareas específicas en el dispositivo, como transcripción, sistemas de control o cargas de trabajo reguladas y sin conexión. Muchos ven esta línea de trabajo tanto como un hobby al estilo demoscene como un impulso estratégico hacia una IA asequible y privada que pueda vivir en dispositivos de gama baja ubicuos en lugar de en centros de datos centralizados.

Objetivos del proyecto y resultados actuales

  • El proyecto apunta a ejecutar LLM relativamente grandes en hardware muy محدود o antiguo (menos de 1 GB de RAM, sin matmul/SIMD).
  • Se informa: modelos de 16B ejecutándose en dispositivos como un iPad Air de 1.ª generación y un decodificador Xiaomi TV con velocidad “decente”.
  • Nuevos experimentos afirman 35B e incluso 80B en teléfonos, con unos pocos tokens/segundo y un objetivo de ~10 tok/s mediante más optimización.
  • Los modelos y kernels se están liberando como código abierto; los modelos modificados están alojados en Hugging Face.

Dispositivos objetivo sugeridos y “¿Puede ejecutar Qwen?”

  • Muchas propuestas: vapes, Playdate handheld, Raspberry Pi Zero/1/2/3/4, ESP32/ESP P4/S31, iPhones antiguos, thin clients, Dreamcast, Wii, kits de desarrollo de PS2, routers (por ejemplo, WRT54G), impresoras, máquinas SGI/Sun, PCs 80386, placas FPGA.
  • El espíritu se compara con el clásico “¿Puede ejecutar Doom?”; algunos sugieren “¿Puede ejecutar Qwen?” como el nuevo meme.
  • Algunos miembros de la comunidad ya informan de LLM en Wii, PS2, FPGA, Dreamcast, viejos iBooks y thin clients.

Técnicas y trucos de rendimiento

  • Gran énfasis en kernels personalizados, transmisión de pesos desde flash/disco/medios ópticos, cuantización extrema y enfoques de carga parcial/por capa (por ejemplo, embeddings por capa, enrutamiento tipo MoE).
  • El trabajo en FPGA muestra LLM en chip o limitados por DDR; se debate alcanzar los límites de ancho de banda de DDR.
  • Se enfatiza la búsqueda automatizada de optimizaciones mediante “fuerza bruta”, a menudo guiada por LLM más grandes (por ejemplo, para generación de código).

Utilidad de los modelos pequeños

  • Visión escéptica: muchos modelos diminutos actualmente son “demasiado tontos” para tareas generales; a menudo solo tienen valor como novedad, especialmente sin ajuste fino.
  • Contraargumento: los modelos pequeños ajustados fino (1–27B) pueden rendir muy bien en dominios estrechos (finanzas, legal, control industrial) y pueden superar a modelos más grandes en coste, despliegue y regulación.
  • Se menciona modelos conversacionales/de razonamiento diminutos (~6.5M parámetros, ~30MB) con uso de herramientas y scripting interno mediante ingeniosos harnesses.
  • Otros usos citados: reconocimiento/generación de voz en el dispositivo, análisis de logs, entornos sanitarios on-prem regulados/HIPAA, IoT en el borde, controladores HVAC/industriales independientes.

Motivaciones y filosofía

  • Las motivaciones incluyen: frugalidad de hardware, reutilización de e-waste, privacidad y despliegue aislado, habilitar a personas con recursos limitados y resistir un futuro en el que solo las grandes empresas ejecuten modelos enormes.
  • Algunos lo ven como “diversión de ingeniería” o algo parecido a la demoscene; otros, como base para “sociedades de IA” distribuidas compuestas por muchos agentes pequeños (“hormigas/bacterias/abejas de IA”).
  • Breves debates secundarios sobre educación científica, incentivos corporativos e impactos sociales potenciales; las opiniones son mixtas y a veces polémicas.