OpenAI GPT-4 vs. Groq Mistral-8x7B

原文 ↗ Hacker News 讨论 ↗

“N/A”的含义

  • 多条评论在讨论“N/A”究竟是指“not available（不可用）”还是“not applicable（不适用）”。
  • 有人认为“not applicable”是标准用法（词典也支持），也有人说他们一直把它用作“not available”。
  • 结论是：在实际使用中，这个缩写含义过于宽泛，通常只是表示“这里没有值”，你更喜欢哪种表述都可以。

准确性 vs 速度与幻觉

  • 许多人强调，对于高风险任务，正确性远比速度重要。
  • 例子包括一个缺失的“not”就会颠倒关键参数，或模型反复自信地出现幻觉。
  • 多个回复指出，如果一个 LLM 不知道某个事实，更多采样并不能解决问题；需要集成方法或检索。
  • 也有人指出，模型在被质疑时往往会改变答案，即使它原本是对的，所以通过一个简单提示词来“自检”并不可靠。

检索增强与混合方法

  • RAG（LLM + 外部数据源）被强调为缓解上下文受限和事实缺口的标准方法，但也被描述为脆弱。
  • 有人认为当前 LLM 无法区分“事实 vs 语法”，这限制了它们判断何时该去查资料的能力。

LLM 用于 HTML 解析与抓取

  • 很多人对用 LLM 解析 HTML 这类结构化格式持怀疑态度，认为它慢、贵、非确定性，而且容易产生幻觉。
  • 建议的替代方案：
    • 用 LLM 生成或更新确定性的解析器/选择器。
    • 只在 HTML 变化极大、人工维护成本很高时使用 LLM。
  • 有几位评论认为基准测试中的提示词定义不充分；更好的结果会来自：
    • 一次只提取一个字段。
    • 不要一步要求输出完整 JSON。
    • 在系统/“角色”设置和工作流上投入更多，而不是追求巧妙措辞。

Groq、硬件与性能

  • Groq 的速度被归因于定制芯片以及 Mixtral 的稀疏 Mixture‑of‑Experts 架构，并通过大量芯片联网实现。
  • 评论者质疑其在现实世界中的经济性和可扩展性（内存占用、多模型、持续运行）是否能与 GPU 相比。

GPT-5 与竞争

  • 有人猜测 OpenAI 可能会因为市场优势和增量收益而推迟 GPT-5；也有人认为来自 Claude 等竞争对手的压力正在侵蚀这种领先。
  • 对下一次跃迁会有多大存在分歧；人们预期会改进，但不一定会非常戏剧性。

能源消耗与伦理

  • 有人担心为了做一些传统解析器轻易就能处理的工作，却烧掉大量算力。
  • 反方观点：AI 具有广泛的实用价值，而 proof-of-work 加密货币被视为浪费；效率正在提升，而且经济激励本身也会推动更低能耗的方法。