Gemini 4 Carbon 现已登顶 Artificial Analysis Intelligence Index v5

原文 ↗ Hacker News 讨论 ↗

Google 新发布的 Gemini 4 Carbon 现已登顶 Artificial Analysis Intelligence Index，但许多观察者质疑，一个尚未公开可用的系统拿到基准第一名究竟有多大意义。评论者指出，Google 常在财报前后安排 AI 公告，研究能力和高端模型确实很强，但往往伴随缓慢的上线、严格的使用限制、令人困惑的产品分层，以及在真实使用中的频繁幻觉。还有人批评 Artificial Analysis 等基准聚合器越来越不透明且存在商业利益冲突，认为排行榜分数已不再与开发者的日常体验高度一致，尤其是在编码工作负载方面，Anthropic 的 Opus 系列模型仍然更受欢迎。

Gemini 模型的感知质量

  • 很多人说 Gemini（尤其是 3.8 Flash 和 Argon）在通识知识、科学解释、数学以及 OCR/HTR 方面很强，有时在散文清晰度和教学性上甚至比 Claude 或 GPT 更受青睐。
  • 一些人认为 Argon 整体上与 Opus 5.5 相当或略逊一筹，但在编程方面明显落后于顶级的 OpenAI/Anthropic 模型。
  • 有些人把 Gemini 看作多智能体工作流中很好的“通才”监督者，但不太适合作为专注的编程代理。

访问、定价与配额

  • 反复有人抱怨 Google 的 20 美元“Pro”套餐对 Argon 的使用额度非常低（仅少数几次中等请求后就会进入数小时冷却），使得前沿档位“实际上无法使用”。
  • 更高档位（99–200 美元，或与大型 Google One 套餐捆绑）提供更合理的访问权限，但用户称其价格昂贵。
  • 有几个人说，因为其他提供商（Anthropic、OpenAI、中国实验室）在限制和性价比方面更好，他们默认改用这些服务。

Carbon 公告与发布策略

  • 有人强烈批评 Gemini 4 Carbon 在尚未公开可用的情况下就登顶 Artificial Analysis 指数。
  • 许多人认为这项公告是面向投资者的公关宣传，时机卡在 Google 财报、绩效评估或安全表演节点。
  • 还有人担心，等 Carbon 真正可访问时，竞争对手已经实现超越，而其现实影响也会变得有限。

真实世界用例与对比

  • 正面：金融等行业中的文档分析、结合 Maps 的旅行规划、历史 OCR、科学/工程推理、Flutter/Dart 帮助。
  • 负面：工具/计算机使用较弱（例如 LaTeX/PDF 工作流），与某些 Google 表面（Calendar、Docs、My Maps）的集成效果不佳。
  • 尽管喜欢 Gemini 的解释能力，但有几个人表示在编程和代理任务上更偏好 Claude/Opus、GPT、DeepSeek 或 Haiku。

幻觉与可靠性

  • 许多人报告 Gemini/Argon 会出现异常激进的幻觉，即使接入了 Google Search 也是如此：捏造产品、法律、机场路径、地图符号，以及伪造的转录文本。
  • 有些人说 Gemini 对指令和上下文的遵循很差，而且在长会话中会退化。

对 Artificial Analysis 与基准测试的看法

  • 多位评论者不信任 AA：在大型实验室发布前后指数频繁变化、移除或降级强劲的开源权重/中国模型，以及过度依赖私有基准和付费咨询。
  • 另一些人认为，随着基准和私有测试集不断演进，这是对抗“benchmaxxing”所必需的，但也承认综合指数可能已经不再反映日常可用性。