Edge0-145B:在你自己的电脑上实现前沿 AI 能力
一个名为 Edge0-145B 的新项目声称,通过修改和微调阿里巴巴的 Qwen3.8 Flash Next,并在 Strata 推理引擎的分支上运行,把“前沿级” AI 模型带到个人电脑上。评论者对其稀疏 MoE 架构、将权重大量卸载到 RAM/SSD 的做法,以及看起来不错的基准结果感到兴趣;理论上,这可能让高端笔记本和台式机运行非常大的模型。然而,许多人对其营销说法、许可清晰度、未完善的 macOS 支持以及基准主张持怀疑态度,并指出其底层技术很大程度上是对现有开放权重模型和工具链的重新包装。
来源与架构
- 许多人指出,Edge0-145B 源自 Qwen3.8-Flash-Next,并运行在 Strata 推理引擎的一个分支(“edge0‑strata”)上。
- 一些人认为这只是做了些适度的架构调整(例如不同的激活参数数量、共享矩阵、专家放置启发式),再加上微调和量化。
- 关于这究竟是真正的创新,还是仅仅是换了包装、叠加大量品牌宣传的微调版本,存在争论。
许可与开放性
- 关于许可存在混淆:有人称它是“open weights”,另一些人则认为该许可过于限制性,不符合这一说法。
- 堆栈中部分内容采用 Apache 2.0,也加剧了这种模糊性。
平台、运行时与 MacOS 混淆
- 博客声称对 macOS、Windows、Linux 以及 M 系列 Mac 提供“首日支持”。
- 但在实际情况中,120B/145B 发布的运行时似乎是仅支持 CUDA;GUI 应用则仅限 Windows。
- 社区确实找到了通过其他引擎在 macOS 上运行 35B 的指南,但 145B 在 Mac 上仍不现实;整体宣传被认为前后矛盾。
内存占用与技术主张
- 标题主张是:145B 参数、峰值内存约 29GB,“可在 48GB 笔记本上运行”。
- 评论者对此进行了拆解,指出:
- 仅从基础算术看,即便在低精度下,145B 参数也远不止 29GB。
- 文档提到,系统 RAM 还需要额外几十 GB,并且专家模块和 n-gram 表也会占用 SSD。
- 共识是:这是一种稀疏 / 卸载式 MoE 架构,模型的大部分驻留在 RAM/SSD 中;29GB 只指 GPU 或活动子集,而营销表述被认为具有误导性或不够清晰。
性能、基准与真实使用
- 基准测试(例如 TerminalBench)表现很强,大致可与一些广受好评的本地模型相当。
- 有几位评论者警惕“benchmaxxing”:即通过微调提高基准分数,却没有改善通用能力。
- 至少有一位用户测试报告称,该模型在一个经典编码问题上卡住了,这表明其成熟度不足或引擎存在问题。
用例、工具与代理
- 人们对工具使用演示很感兴趣,尤其是 Blender 自动化和编码代理。
- 也有人怀疑生成的 3D/PCB 产物是否足够干净,能否真正节省时间,而不是仍需大量手工清理。
- 讨论中还将其与其他代理/模型(Fable、Qwen4 等)进行比较,并建议用 OpenSCAD 这类基于文本的 CAD 来做 AI 辅助 3D。
硬件、可访问性与 VRAM
- 配备高端 GPU(如 4090/5090、RTX 6000)和大内存 Mac 的用户表现出热情;一些人认为这是合理的专业投资,另一些人则称其“贵得离谱”。
- 关于最低 VRAM(4–8GB 还是 16–24GB 以上)的疑问仍未得到解答;卸载可以缓解,但权衡并不清楚。
- 讨论还涉及普通“正常”用户是否真的拥有能够运行这类模型的硬件;许多人认为其真正目标是高端消费用户和专业人士。
模型变体(145B vs 120B vs 35B)
- 关于为什么会有一个 120B 模型存在感到困惑,因为 145B 规模相近,而且表格里两者都显示约 29GB 内存。
- 有人推测较小的变体是为了适配 48GB MacBook 之类的机器,但官方指导缺失。
公司透明度与来源
- 评论者指出,公司网站上关于其自身的信息非常少(地点、团队等)。
- 有一条评论强调,这似乎是一家 PRC 初创公司,在优化一个中文基础模型;有人认为这属于相关背景信息。
关于本地“前沿” AI 的更广泛思考
- 围绕“在你自己的电脑上实现前沿 AI 能力”这类营销表述存在争论:
- 支持者认为这很令人印象深刻:大型、强力的模型可以在一台高端工作站上运行。
- 批评者则说它并不真正算“前沿”,更像是去年水平的前沿模型,以高度优化、卸载后的形式运行。
- 更广泛的讨论还包括:
- 既有超大规模云端模型,也有更小、更专门化的本地模型这一趋势。
- 本地的“准前沿”模型是否会让为每位知识工作者或爱好者配备一个强大、私密的 AI 在经济上变得可行。