IBM CEO 说开权重模型如今已经足够好，而且本地部署很便宜
IBM 声称开权重 AI 模型如今已经足够强大，而且足够便宜，可以本地部署，这重新点燃了关于企业是否应自托管 AI、还是依赖 OpenAI、Anthropic 等提供的“前沿”云模型的争论。评论者权衡了两方面的取舍：一边是昂贵的 GPU 和运维复杂性，另一边是受补贴的按 token 定价、供应商锁定、审查以及数据隐私风险。许多人认为，快速进步的开源/开权重模型对于大多数工作负载已经“足够好”，而成本、控制权以及长期价格的不确定性将推动更多公司——以及一些重度用户——转向本地或自托管部署。
IBM 的角色与动机
- 许多人认为 CEO 的说法是在“讲自己的生意经”：IBM 销售本地部署硬件和咨询服务，因此称赞开权重的本地 AI 与其自身利益一致。
- 有人认为 IBM 本可以 凭借其硬件历史、资本和芯片专长挑战 NVIDIA，但也有人说它早已不是 PC 时代的 IBM，并且受到低效管理和抽租文化的拖累。
- 还有少数人指出，IBM 的 Granite 模型以及 Power/Z 硬件在技术上令人印象深刻，但价格高且偏小众。
开权重模型的质量
- 多位评论者表示，如今的开权重模型（DeepSeek v4.1 Flash、GLM 5.x、Qwen 3.8、Kimi K3.1）对于严肃编码、长上下文工作和 agentic 工作流来说已经“足够好”，有时接近甚至达到 “Opus 4.x 级别”。
- 对许多人类在环任务而言，与顶级前沿模型之间略微的质量差距是可以接受的。
经济性：本地部署 vs 云端
- 自托管用户报告说，他们搭建了规模可观的设备（例如约 2.5 万美元、多 GPU、数千瓦功耗），从而完全避免了付费 API，但也承认这并不比当前受补贴的订阅更便宜。
- 其他人认为，对大多数用户而言，云端/API 更经济：例如每月 100–200 欧元的 LLM 套餐，或每月约 200 欧元的 GPU 服务器，而不是购买利用率不足的机架。
- 有人提到 DeepSeek 的目标是让硬件在约 10 个月内回本；如果利用率相近，自托管几乎没有套利空间，除非持续的 API 支出很高。利用率和推理调优被视为难点。
隐私、控制与审查
- 一个强烈的主题是：本地部署/开权重能提供隐私，避免共享敏感数据或受 NDA 约束的数据，并移除提供方的过滤、拒绝以及可能向当局报告的风险。
- 本地方案还可避免未来涨价、限流、封禁或政策变化。
硬件、GPU 与生态护城河
- CUDA 和 NVIDIA 的软件栈被视为巨大的护城河；IBM 或其他公司若要竞争，需要数年时间认真建设生态。
- 二手 GPU 价格昂贵且稀缺；RAM 和 VRAM 被视为真正的瓶颈。有人预测需求最终会大幅下滑，但不会很快发生。
企业采用与前沿 AI 展望
- 企业在将 AI 融入工作流方面举步维艰，而且缺乏 kernel、网络和推理工程师，这被 IBM 视为咨询机会。
- 几位评论者预见一种“足够好”的平台期：大多数工作由更便宜/开权重模型完成，而前沿 SOTA 仅用于小众场景，这将挑战日益庞大的前沿训练集群的经济性。