Jeff – 兼容 Jev 的 0.8B 决策模型，在家训练，约 30 ms

原文 ↗ Hacker News 讨论 ↗

像 Jeff 这样的“小型开源权重决策模型”旨在复制 Jev 的零样本分类能力，同时在本地硬件上以低成本、快速运行，使用经过微调的 Qwen 和 Gemma 模型，在一次前向传递中输出校准后的选项概率。评论者在 Jeff 的速度、离线部署和面向任务的微调优势，与 Jev 更强的开箱即用准确率和专有数据优势之间进行权衡，尤其是在更难的推理基准上。大部分争论集中在何时使用这类模型、传统分类器或完整 LLM 之间的选择上，涉及延迟、成本、所需训练数据，以及真正零样本泛化的重要性。

Jeff 决策模型概览

  • Jeff 提供小型开源权重的决策模型（0.8B 和 2B），由 Qwen3.5 和 Gemma 微调而来，用于零样本分类。
  • 模型接收一个情境加上多个选项，并在一次前向传递中输出校准后的概率，不进行文本生成。
  • 关键目标：极低延迟（M4 Max 上 0.8B 约 30 ms）、本地部署、兼容 Jev 的 API，以及便于进一步微调。

性能、基准测试与游戏

  • 在一个混合基准测试面板上，Jeff 2B 的整体表现大致与已发布的 Jev 分数相当，但在多步推理上明显落后（例如 BBH、JevBench 高难度层级）。
  • 对于分类式任务（例如 Financial PhraseBank、RAGTruth），Jeff 报告的分数高于 Jev。
  • 一些用户报告了很强的表现；另一些用户则发现 Jeff 远低于 Jev（例如，在他们自己的招聘广告分类器上准确率为 70% 对 94%）。
  • 游戏测试（Doom、Frogger、Pac-Man）被用作有趣的零样本评估；Jeff 0.8B 在某些场景中与手工编码的机器人相当甚至更好，但也有人使用微型定制分类器取得了好得多的 Doom 结果。

零样本 vs 微调 vs 经典机器学习

  • 关于零样本通用模型（Jev/Jeff）相对于以下方案的价值，存在激烈争论：
    • 微调过的小模型（例如 ModernBERT、Gemma）。
    • 简单流水线：嵌入模型 + 逻辑回归 / SVM / MLP，或者甚至词袋 + 线性模型。
  • 有几位评论者声称，这些经典方案在许多标准文本分类数据集上能与 Jev/Laya 持平甚至超越它们，而且运行时间 <1 ms。
  • 反方观点：零样本消除了数据、机器学习专业知识和基础设施门槛，使得可以快速在许多用例上试验。

本地部署、成本与产品定位

  • 许多人欣赏 Jeff 采用 Apache 许可证、可本地运行，并且能在单卡 GPU 上快速微调。
  • 也有人认为，在规模化场景下，租用 GPU 或使用廉价 API（例如 Jev 的定价）更实用。
  • 讨论还涉及：是否需要微调，会不会改变产品类别；以及这与 Jev 所承诺的“足够好”的零样本有何不同。

Jev 风格模型 vs 通用 LLM

  • 有些人认为，带结构化输出、logprobs 和受限解码的标准 LLM 可以替代 Jev，但：
    • Jev/Jeff 风格模型被认为在分类式任务上要快得多、便宜得多。
  • 多条评论强调，这些是“System 1”判断模型，而不是规划器：非常适合快速决策，但不擅长深度推理。

架构、替代方案与担忧

  • 有人猜测 Jev 是只编码器或类似 BERT 的模型，并使用了大量合成数据进行训练；具体细节并未公开。
  • 其他类似 Jev 的项目（例如 Laya、微型 Doom 代理）被讨论为面向特定任务、依赖大量微调的替代方案。
  • 一些人担心，这类快速分类器非常适合监控和自主武器，并认为其优化与扩散令人担忧。