Mistral：我们的首批 AI 端点已进入早期访问

原文 ↗ Hacker News 讨论 ↗

Mistral AI 的早期访问 API 端点，包括闭源的 “mistral-medium” 模型以及开源权重的小型变体，因据称在基准测试中超过 GPT‑3.5，并且相较 OpenAI 和 Anthropic 具备有竞争力的定价而备受关注。评论者在权衡为何要为托管服务付费，同时强大的开源模型又可以自行部署，认为可靠性、可迁移性以及避免供应商锁定，是继续使用第三方 API 的关键原因。关于真实世界表现与基准测试的差异、大规模推理的硬件与能耗成本、上下文窗口限制，以及欧盟监管和开源豁免将如何塑造 Mistral 的长期地位，也存在激烈讨论。

模型阵容与能力

  • 新端点：Mistral-tiny（Mistral 7B Instruct v0.2）、Mistral-small（开源权重）、Mistral-medium（闭源，原型），以及一个嵌入模型。
  • 据称 Mistral-medium 在一些基准上（例如 Winogrande）优于 GPT‑3.5，甚至在某些方面接近或超过 GPT‑4，并且显著优于 Gemini Pro；如果在真实使用中也成立，有些人认为这“极其令人印象深刻”。
  • 也有人提醒，基准很容易被“刷分”，而且并非可直接对比，真实世界表现以及经过安全调优的公开版本可能会不同。
  • Mixtral 8x7B MoE 被强调为：以大约 14B 的推理成本，性能接近 70B 稠密模型；一些人表示它在实际任务上表现很好。

定价与经济可行性

  • 每 100 万输出 token 的公布价格使 Mistral-medium 略高于 GPT‑3.5，但远低于 GPT‑4；有人据此推断 Mistral 认为它明显优于 GPT‑3.5。
  • 也有人认为 GPT‑3.5 是被补贴的，或者早期访问定价未必反映最终现实。
  • 关于更便宜但略差的模型能否在与 OpenAI 的竞争中胜出，以及相较于原始质量，可靠性与开放性究竟有多重要，存在争论。

开源 vs 托管 API

  • Mistral 的开源权重模型被视为重大战略优势：用户可以先使用托管 API，之后再自托管或迁移到其他提供商，从而降低供应商锁定和“突然抽走”的风险。
  • 也有人认为，如果模型是开放的，许多提供商都可以低成本托管它们，从而削弱 Mistral 的 API 利润。
  • 开源模型也被视为防范模型弃用和行为变化的一种保险。

上下文窗口与架构

  • Mixtral 的 32k 上下文加滑动窗口注意力引发了褒贬不一的反应。
  • 一方表示，对于需要精确逐字回忆的任务（代码复用、商业文档），滑动窗口模型实际上只像 ~8k 上下文一样工作，并会失败；它们更适合基于要点的推理。
  • 也有人指出隐藏状态会保留信息，并不同意这种限制有那么严重；其影响被描述为“尚不明确”，且取决于具体用例。

硬件、能耗与本地推理

  • 多条评论估算了在 GPU（4090 vs A100/H100）上每百万 token 的功耗与成本，而批处理和数据中心电价会显著影响经济性。
  • 也有人猜测可以通过压缩/量化在本地（甚至手机上）运行 MoE 模型，但由于延迟和功耗，实际可行性存在分歧。

生态、监管与竞争

  • 许多人认为，Mistral 作为一个出人意料地强的小玩家，对于非 GPT‑4 用例而言，对现有巨头构成了严肃威胁。
  • 有人担心欧盟 AI 监管以及总部位于欧洲会成为长期劣势；也有人认为开源模型的豁免和“为监管而构建”最终可能变成优势。
  • 相比之下，Google 在 AI 和搜索变现上的战略混乱被拿来与 Mistral 的聚焦执行力对比，不过也有人提醒不要过早看空 Google。