我正在让 LLM 在小型和老旧设备上运行

人们正努力把越来越大的语言模型运行在出人意料地孱弱且老旧的硬件上——从初代 iPad 和电视盒子,到路由器、游戏主机,甚至电子烟——这正演变成一种“它能跑 Qwen 吗?”式的工程挑战。参与者交流权重流式加载、极限量化和自定义内核等技巧,同时争论小型或高度优化的模型是否能在端侧的狭窄任务上真正实用,例如转录、控制系统,或受监管的离线工作负载。许多人认为这条路线既像 demoscene 风格的爱好,也是在推动一种更战略性的方向:让廉价、私有的 AI 可以生活在无处不在的低端设备上,而不是集中在数据中心里。

项目目标与当前结果

  • 项目旨在让相对较大的 LLM 运行在非常受限或老旧的硬件上(低于 1 GB RAM、没有 matmul/SIMD)。
  • 据报道:16B 模型已经能在诸如初代 iPad Air 和小米电视盒子之类的设备上以“不错”的速度运行。
  • 新实验声称 35B 甚至 80B 模型也能在手机上运行,每秒输出几个 token,并且通过进一步优化目标可达到约 10 tok/s。
  • 模型和内核正在开源;修改后的模型托管在 Hugging Face 上。

建议的目标设备与“它能跑 Qwen 吗?”

  • 有很多提议:电子烟、Playdate 掌机、Raspberry Pi Zero/1/2/3/4、ESP32/ESP P4/S31、旧 iPhone、瘦客户端、Dreamcast、Wii、PS2 开发套件、路由器(例如 WRT54G)、打印机、SGI/Sun 机器、80386 PC、FPGA 板卡。
  • 这种精神被比作经典的“它能跑 Doom 吗?”;也有人建议把“它能跑 Qwen 吗?”作为新的梗。
  • 一些社区成员已经报告在 Wii、PS2、FPGA、Dreamcast、旧 iBook 和瘦客户端上运行 LLM。

技术与性能技巧

  • 重点放在自定义内核、从闪存/磁盘/光学介质流式加载权重、极限量化,以及按层/部分加载的方法上(例如按层嵌入、类似 MoE 的路由)。
  • FPGA 工作展示了在芯片内或受 DDR 限制的 LLM;讨论中提到会碰到 DDR 带宽瓶颈。
  • 强调通过自动化“暴力”搜索寻找优化方案,往往由更大的 LLM 来指导(例如用于代码生成)。

小模型的实用性

  • 怀疑观点:目前许多小模型“太笨”,不适合通用任务;尤其在没有微调时,往往只是新奇展示。
  • 反方观点:经过微调的小模型(1–27B)在狭窄领域中可以表现很好(金融、法律、工业控制),并且在成本、部署和监管方面可能优于更大的模型。
  • 提到了一些小型对话/推理模型(约 650 万参数、约 30MB),通过巧妙的 harness 实现了工具使用和内部脚本编排。
  • 其他提到的用途:端侧语音识别/生成、日志解析、受监管的本地医疗/HIPAA 场景、边缘 IoT、独立的 HVAC/工业控制器。

动机与理念

  • 动机包括:硬件节俭、重复利用电子垃圾、隐私/隔离网络部署、让资源有限的人也能使用,以及抵制一个只有大公司才能运行超大模型的未来。
  • 有些人把这看作“工程乐趣”或类似 demoscene 的创作;另一些人则视其为面向许多小型智能体组成的分布式“AI 社会”(“AI 蚂蚁/细菌/蜜蜂”)的基础。
  • 还有一些关于科学教育、企业激励和潜在社会影响的简短争论;观点混杂,且有时颇具争议。