在没有专门训练的情况下，GPT-4 击败了一个耗资 1000 万美元的 GPT-3.5 级模型

GPT-4 vs 1000 万美元金融模型

• 许多人认为，一个大得多的通用模型（GPT-4）在广泛的金融理解上胜过一个较小、昂贵的领域模型，这并不令人意外。
• 这一结果被视为“缩放定律”和“苦涩教训”的一个实例：更多算力和通用训练往往胜过手工设计的专门化。
• 也有人指出一些 caveat：GPT-4 的训练数据和微调过程并不透明，因此“没有专门的金融训练”的说法很难验证。
• 金融基准主要衡量的是特定领域内的阅读理解；在带有特定标签的 NER 等更窄任务上，GPT-4 落后于经过微调的模型。

有东西能超过 GPT-4 吗？

• 经验并不一致：一些用户报告 Claude 3 Opus 或 Mistral-large 在某些编码或编程任务上超过 GPT-4；另一些人则觉得 GPT-4 更可靠。
• 引用的 Chatbot Arena 排名显示 GPT-4 略微领先于 Claude 3 Opus，但差距很小。
• 用户强调，性能会因任务、提示风格以及周围工具而异。

工具能力 vs 模型能力

• “写 Python 并运行它”这类功能被归因于工具链（system prompts + 代码执行环境），而不是模型本身的洞察力。
• Claude 的网页界面目前缺少类似 Code Interpreter 的工具，这让一些人把数学方面的弱点误归因于模型，而不是缺失的基础设施。

基础模型、微调与扩展

• 关于 ChatGPT/GPT-4 是“基础模型”还是一个经过大量微调的衍生模型，以及这对解释结果有多大影响，存在争论。
• 不少人认为，大型通用模型通常会胜过较小的专用模型，但未来经过精细微调的 GPT‑4 级模型可能会表现更好。

提示词 vs 微调

• 一个强烈的观点是：在现代 LLM 上，用高质量示例进行 few-shot 提示，往往比微调更好，尤其是考虑到较低的输入 token 成本。
• 另一些人则认为，微调对狭窄任务至关重要（例如小众编程语言、机器人），并且在这些领域中可以大幅超过 GPT‑4。
• 还有人担心，天真的微调会“阉割”模型或导致灾难性遗忘，尤其是对较小模型而言。

RAG、上下文窗口与私有数据

• 有人认为，随着上下文窗口变大，RAG 正变得不那么重要；也有人用具体例子反驳（数百万 token 的文档）说明 RAG 仍然是必要的。
• 大上下文可以降低分块复杂度，但成本、延迟以及无关内容/噪声仍然是问题。
• RAG 也被视为处理无法进入训练集的私有数据或频繁更新数据的重要手段。

成本、实用性与创业策略

• 关于微调是否“简单”，意见分歧很大：从机制上看，借助现代工具很容易，但要取得有用结果则被描述为困难且容易出错。
• 有说法称，廉价的 LoRA/QLoRA 微调可以在特定领域以低得多的推理成本达到类似 GPT‑4 的性能；也有评论者要求拿出具体证据。
• 几位从业者建议，大多数公司不要自己训练基础模型，而应把重点放在提示工程、RAG，以及把通用 LLM 集成到真实产品中。
• 也有人认为，轻视微调是短视的，尤其是在机器人和高度专业化领域。