Revolut 迁移到自托管 GLM
一家大型金融科技公司已将其大量 AI 工作负载从 OpenAI 和 Anthropic 迁移到运行在租用 Nvidia 硬件上的自托管 GLM 模型，据称将每 token 成本降低约 90%，同时提高了内部 token 使用上限。评论者围绕开源权重模型与“前沿”模型之间的质量差距是否仍然影响大多数编码和后台任务展开讨论，考虑到监管压力、数据主权担忧，以及大型 GPU 集群与 API 定价之间的经济性。该讨论串还凸显了一个更广泛的趋势：企业正在尝试本地部署或专属云的 LLM，尽管硬件折旧、供应商护城河以及 AI 未来如何重塑软件工程岗位仍存在疑问。
成本与基础设施经济学
- Revolut 报告称，在自托管 GLM 上每百万 token 约为 ~$0.30（通过租用 56× B200），约为此前 Anthropic/OpenAI 支出的 1/10。
- 社区粗略估算：56 块 B200 购买成本可能为 $2.5–3M，或按公有云 GPU 价格租用时每月 $250–300k，这表明在高使用量下，切换是值得的。
- 关于买还是租的争论：许多人认为，从云厂商或专门供应商那里租用硬件更现实；硬件很难采购，而且会随着每一代 Nvidia 迭代快速贬值。
- 有人预计前沿实验室会通过激进的企业方案（例如按工程师统一定价）来维持利润率和相关性。
模型质量：开源 vs 前沿
- 许多人认为，GLM 5.3 以及类似的开源权重模型对于大多数编码/软件工程任务已经“足够好”，尤其是在有良好提示和 harness 的情况下。
- 另一些人坚持认为，前沿模型（Claude、GPT 等）在推理、自主性和代码导航方面仍明显更强，尤其是在复杂仓库上；切回它们会感觉像“天壤之别”的升级。
- 共识是：质量差距确实存在，但正在缩小；对许多业务工作负载而言，价格和控制权如今比绝对峰值质量更重要。
数据隐私、合规与“零数据保留”
- 对银行而言，将工作流保留在受控基础设施内（或至少是受信任的 GPU 提供商上）被视为至关重要，原因在于监管和数据主权。
- 有人认为，SaaS LLM 供应商关于“零数据保留”的承诺不过是带法律例外条款、且无法验证的合同层面“拉钩承诺”。
- 建议的层级是：自有硬件 > 机密计算提供商 > 通用 API 供应商。也有人反驳说，对许多组织而言，审计和合同法已经足够。
自托管体验与工具链
- 多位评论者表示，他们在本地或内网 open models（Qwen、Gemma、GLM 等）上取得了成功，且往往只需普通硬件，从而消除了数据信任方面的担忧。
- 强调 harness：日志、工具、标准化 API 和 lessons 文件与基础模型同样重要。有人分享了把先前对话整理成“lessons”并注入未来上下文的方案。
- 少数人提到引擎级 bug（例如 vLLM + GLM 的正确性问题），并好奇 Revolut 具体使用的技术栈。
开发者生产力与 token 配额
- 一个关键的报告收益是：取消 token 配额。 一旦 token 变成了实际上“按月包干”，使用量就爆发式增长，生产力（以及探索）也随之提升。
- 相反的观点是：在一些 token 无上限的公司，这导致了“生产力幻觉”和大量 AI 生成的垃圾内容。
- 还有几个人表示，当提示足够精确时，开源模型更能遵循指令；而含糊其辞（“把所有问题都修好”）会产生更差的结果。
劳动力市场与技能
- 强烈担忧初级开发工作如今大多已可自动化；一些团队保留初级员工主要用于学习，由资深工程师审查 AI 辅助编写的代码。
- 普遍认为，AI 的主要受益者是资深工程师，他们的生产力大幅提升；初级工程师面临招聘逆风，并被敦促主动学习 AI 工作流。
- 讨论还涉及员工是否应自掏腰包投入 AI 工具，还是应由雇主提供订阅，以及更广泛的工作保障、工作与生活平衡和社会影响等问题。