MicroLLM Lab – 在浏览器中试用 7 个微型 LLM

原文 ↗ Hacker News 讨论 ↗

完全在浏览器中运行的微型语言模型正让开发者惊叹于它们如今的速度和轻量化，但与现代聊天式 LLM 相比，其能力仍然明显受限。评论者一方面称赞 MicroLLM Lab 演示展示了通过 WebGPU 和 WASM 进行设备端推理，另一方面也指出其频繁幻觉、推理能力差、只会英文以及界面设计混乱。讨论串还暴露出技术挑战——尤其是 Firefox 与 GPU 兼容性——并提到了 Web Models API 以及类似项目等更广泛的努力，旨在标准化并扩展网页上的本地、隐私友好型模型执行。

总体印象

  • 许多人认为这个演示很有趣、很有启发性，证明了浏览器内、设备端推理已经进步到了什么程度。
  • 也有人觉得这些模型用于助手式任务“无法使用”，输出常常毫无意义、重复，或者陷入循环。
  • 几条评论将这种体验比作早期 GPT-2 / “prompt engineering” 时代：有意思，但脆弱且不可靠。

微型模型的能力与局限

  • 共识是：这些是 small language models（SLMs），而不是完整的助手。
  • 适合的用途建议包括：情感分析、文本分类、实体提取、简单补全。
  • 对于开放式聊天、食谱、事实问答，或基础推理（例如 2+2、首都、人口、牌张数量），用户报告经常出现幻觉和逻辑错误。
  • 一些输出荒谬得可笑（例如猫“不是动物”、离谱的南非答案、夸张的人口数字、奇怪的食谱）。
  • 少数提示会得到合理答案，说明通过仔细提示，这些模型有时也能表现得连贯。
  • 几位用户得出结论：这些例子目前还不能作为通用助手实际使用，更多是能力展示。

用户体验与界面

  • 多位用户批评界面：
    • 文字太小、太密。
    • 前置内容太多，而且大多可以忽略，交互部分之前还有一大段 AI 生成的解释。
    • 页脚令人困惑，也缺少对 SLM 擅长什么的清晰示例。
  • 作者回应称：
    • 添加了一个很大的 “tl;dr”，并把较长文本标记为可选。
    • 增大了字体并简化了页脚。
  • 有人认为，这篇文章的成功是“尽管”布局嘈杂，而不是因为它。

技术实现与性能

  • 通过 WebGPU 在浏览器中运行模型，并以 WebAssembly 作为较慢的后备方案。
  • 许多人报告在现代硬件上 token 生成速度出乎意料地快；也有人分享了具体的每秒 token 数。
  • 另一些人遇到问题：
    • Firefox/Linux 上 WebGPU 不可用或有 bug（例如 GPUShaderStage 错误），需要参数或后备方案。
    • 有一条关于 macOS 崩溃的报告（原因不明）。
    • 有些用户无法加载模型，或者说“一切都不工作”，而另一些用户则表示主流浏览器上一切正常。
  • 建议包括更好的特性检测、对不受支持的环境给出明确警告，以及通过 CDN 提供模型。

相关项目与更广泛的影响

  • 贴文中分享了多个相关的浏览器内 LLM / WebGPU 演示和实验室项目，包括单文件聊天应用、微型 “story” 模型以及其他小型实验。
  • 还讨论了一个提议中的 “Web Models API” 标准，包括模型注册表以及可能的 P2P 分发等问题。
  • 总体情绪是：即使是把小模型直接放在浏览器中运行，包括在 air-gapped 场景下，也被视为强大且有前景，尽管当前质量仍有限。