开源权重 LLM 与闭源 LLM 之间的差距

术语：“开源” vs “开放权重”

• 多条评论指出，文章把开源与开放权重混为一谈；有人认为这是一个重要区别（可复现的流程、许可证、训练数据），也有人认为这只是语义之争，因为用户主要关心的是可修改、可本地运行的模型。
• 有人提议使用“可用权重”等中性术语，但也有人怀疑会有人采用。

持久性、控制与监管

• 重点强调开放权重模型一旦发布，就很难像 API 模型那样被“收回”；API 模型可以被弃用，账户也可以被关闭。
• 反方观点：政府仍然可以将使用行为定为犯罪，并通过执法和惩罚吓退大多数人，不过也有人认为这类法律很难真正有效执行（以盗版、毒品、审查为例）。
• 有人担心关于“有害”开放模型的宣传可能为禁令和操作系统级限制提供借口；也有人强调公民抵抗和开源工具是防御手段。

开放模型的来源与地缘政治

• 许多人指出，如今大多数强大的开放权重模型都来自中国实验室。
• 争论焦点在于这究竟是慈善、营销、国家战略，还是这些因素的混合。
• 一些人认为中国模型严重依赖从美国前沿模型蒸馏而来；另一些人则指出已发表的研究，并认为这种“只会复制”的看法低估了中国的创新和硬件能力。
• 有人担心，一旦美国和中国政府都认为开放发布具有重大战略价值，它们最终都可能限制开放发布。

开放模型与闭源模型之间的差距

• 编程被视为开放权重最接近闭源模型的领域；一些基准测试显示差距很小，用户也表示开放模型对许多软件任务来说已经“足够好”。
• 对于法律、生物医学和高安全性应用等领域，许多人认为前沿闭源模型仍然领先。
• 几位评论者预测会出现一个稳定的滞后：开放模型总是落后于从前沿模型提取数据并重新训练所需的时间。

经济性、可持续性与分布式训练

• 训练前沿规模模型需要巨额资本；有人担心开放发布依赖少数私营主体，因此可能随时中断。
• 提出的思路包括：社区资助、“fabless” 训练公司向推理提供方授权、SETI@home 式分布式训练，以及联邦学习。
• 也有人认为，VRAM、带宽、可靠性等实际限制会约束大规模分布式训练，不过小型或专用模型可能是可行的。