Estou fazendo LLMs funcionarem em dispositivos pequenos e antigos

Esforços para fazer modelos de linguagem cada vez maiores rodarem em hardware surpreendentemente fraco e antigo — de iPads de 1ª geração e TV boxes a roteadores, consoles de videogame e até vapes — estão evoluindo para uma espécie de desafio de engenharia “ele roda Qwen?”. Os participantes trocam técnicas como streaming de pesos, quantização extrema e kernels personalizados, enquanto debatem se modelos pequenos ou altamente otimizados podem ser realmente úteis para tarefas locais e específicas, como transcrição, sistemas de controle ou cargas de trabalho offline e reguladas. Muitos veem essa linha de trabalho tanto como um hobby no estilo demoscene quanto como um impulso estratégico por uma IA acessível e privada que possa viver em dispositivos de baixo custo onipresentes, em vez de data centers centralizados.

Objetivos do projeto e resultados atuais

  • O projeto tem como objetivo executar LLMs relativamente grandes em hardware muito limitado ou antigo (menos de 1 GB de RAM, sem matmul/SIMD).
  • Relatado: modelos de 16B rodando em dispositivos como um iPad Air de 1ª geração e uma TV box Xiaomi com velocidade “razoável”.
  • Novos experimentos afirmam 35B e até modelos de 80B em telefones, com alguns tokens/s e uma meta de ~10 tok/s por meio de mais otimização.
  • Modelos e kernels estão sendo open source; modelos modificados hospedados no Hugging Face.

Dispositivos-alvo sugeridos e “Ele roda Qwen?”

  • Muitas propostas: vapes, Playdate handheld, Raspberry Pi Zero/1/2/3/4, ESP32/ESP P4/S31, iPhones antigos, thin clients, Dreamcast, Wii, kits de desenvolvimento do PS2, roteadores (por exemplo, WRT54G), impressoras, máquinas SGI/Sun, PCs 80386, placas FPGA.
  • O espírito é comparado ao clássico “Ele roda Doom?”; alguns sugerem “Ele roda Qwen?” como o novo meme.
  • Alguns membros da comunidade já relatam LLMs em Wii, PS2, FPGA, Dreamcast, iBooks antigos e thin clients.

Técnicas e truques de desempenho

  • Forte foco em kernels personalizados, streaming de pesos a partir de flash/disco/mídia óptica, quantização extrema e abordagens de carregamento por camada/parcial (por exemplo, embeddings por camada, roteamento do tipo MoE).
  • Trabalho com FPGA mostra LLMs no chip ou limitados pela DDR; discussão sobre atingir limites de largura de banda da DDR.
  • Ênfase em busca automatizada de otimizações por “força bruta”, muitas vezes guiada por LLMs maiores (por exemplo, para geração de código).

Utilidade de modelos minúsculos

  • Visão cética: muitos modelos minúsculos atualmente são “burros demais” para tarefas gerais; muitas vezes servem apenas como novidade, especialmente sem fine-tuning.
  • Contraponto: modelos pequenos ajustados (1–27B) podem funcionar muito bem em domínios restritos (finanças, jurídico, controle industrial) e podem superar modelos maiores em custo, implantação e regulação.
  • Menção a modelos conversacionais/de raciocínio minúsculos (~6,5M parâmetros, ~30 MB) com uso de ferramentas e scripting interno por meio de harnesses inteligentes.
  • Outros usos citados: reconhecimento/geração de fala no dispositivo, análise de logs, ambientes de saúde on-prem regulados/HIPAA, IoT de borda, controladores HVAC/industriais autônomos.

Motivações e filosofia

  • As motivações incluem: frugalidade de hardware, reaproveitamento de lixo eletrônico, privacidade/implantação em ambiente air-gapped, permitir que pessoas com recursos limitados usem esses sistemas e resistir a um futuro em que só grandes empresas executem modelos enormes.
  • Alguns veem isso como “diversão de engenharia” ou algo no estilo demoscene; outros, como base para “sociedades de IA” distribuídas de muitos pequenos agentes (“formigas/bactérias/abelhas de IA”).
  • Breves debates paralelos sobre educação científica, incentivos corporativos e possíveis impactos sociais; as visões são mistas e às vezes contenciosas.