为什么当前 LLM 成本不可持续

成本结构与可持续性

• 许多人认为当前前沿 LLM 的经济性很脆弱：实验室亏损数百亿美元，而按 token 收费还必须覆盖训练、基础设施、员工和营销。
• 推理本身可能已经盈利，但整体业务并不盈利；争论在于这是否意味着订阅被“严重补贴”，还是企业 API token 只是利润率很高。
• 有人认为估值假设到 2030 年前进展和需求都会异常平滑；也有人指出，至少有一家大型实验室的推理收入已经超过推理成本。

订阅、token 与使用模式

• 有若干个人月度 API 等效用量达到数千美元的轶事，原因是 agent 扫描大型代码库、长循环以及上下文极大且缓存利用率很差。
• 另一些人说，即使日常专业使用，也无法触及订阅上限，这表明过度使用往往是编排/“技能问题”，而非必要。
• 普遍共识是：人们因为订阅掩盖了真实成本，而对顶级模型用于琐碎任务的使用过度。

云端 vs 本地与托管的未来

• 观点分裂：一些大型企业坚持在自己的数据中心运行模型以确保安全；另一些则愿意把这项工作外包给超大规模云厂商，并把它们视为事实上的赢家。
• 很多人预计会出现一个类似网页托管的生态：裸金属 GPU 提供商和更高层的“LLM 平台”，而前沿实验室则在质量和集成上竞争，而非原始托管能力上。
• 也有人预见到，到 2030 年左右，大多数 AI 会变成本地/设备端运行，从而削弱大型托管前沿模型的业务，除非是在少数高端细分用途上。

开放模型与地缘政治

• 开源权重的中国模型（DeepSeek、GLM、Qwen）被广泛认为便宜得多，而且对许多工作负载来说“足够好”；有人建议通过切换，全球支出可能下降 10 倍。
• 反方观点：担心依赖一个“敌对超级大国”，以及美国可能实施制裁，迫使美国及其盟友提供商下架这类模型，把用户推回本土实验室。

硬件、优化与未来方向

• 采用 8×B200 加专用太阳能自托管大模型的粗略成本估算表明，即使在规模化条件下，每个 token 的成本也不低。
• 许多人认为，真正的大幅节省来自更好地将请求路由到更小模型、改进 agent/harness，以及硬件专门化（例如“芯片上的 LLM”），而不仅仅是更便宜的前沿模型。
• 关于能力是否已进入平台期的争论仍在继续；一些人认为边际收益在递减，另一些人则说最近的发布和 agentic 工作流仍显示出快速进展。