Ollaya – 面向开源、Jev 风格决策模型的 Ollama
开源开发者正在竞相复现 Jev 风格的“system one”决策模型——这种快速、低成本的分类器可以替代许多基于 LLM 的判断调用——而 Ollaya 和 Laya 等项目则试图通过类似 Ollama 的界面在本地运行这些模型。评论者讨论 Jev 到底有多新颖、它是否主要只是传统分类器的营销包装，以及像 Decider 或 Kev 这样的开源模型在准确性和校准性上离 Jev 有多近。该线程还强调了实际用例（审核、smart grep、自动化）、速度与决策质量之间的权衡，以及开源快速复制对 AI 初创公司护城河和商业模式意味着什么。
项目概览与定位
- Ollaya 让用户通过一个兼容 Jev 的 API，在本地运行 Jev 风格的“决策模型”。
- 一些评论者认为它是“面向决策模型的 Ollama”，并指出 Ollama 或 vLLM 最终也可能支持相同的端点。
- 该项目因让开放模型更容易运行、以及通过 API 兼容性减少供应商锁定而受到称赞。
“决策模型”只是分类器吗？
- 许多人认为“决策模型”只是多类别、零样本文本分类的营销说法：
- 输入文本由 transformer 编码；输出是固定决策集合上的概率。
- 有些人把“system one models”、“decision models”、“noul”、“confidence”等大多看作品牌包装。
- 也有人反驳说，以 Jev 的速度/价格实现通用、校准良好、多任务的零样本分类并不简单，尽管架构上很朴素，但在实践中很有用。
模型质量：Jev vs Laya 以及其他开源模型
- 多条反馈称 Laya 明显弱于 Jev，尤其是在更难或更多样的查询上；它速度快、体积小，但在准确性和稳定性上有所取舍。
- 线程中分享的基准测试把 Jev 放在前列，一些开源 decider 模型和更大的 transformer（例如基于 diffusion 的、基于 Qwen 的）紧随其后；Laya 的排名低得多。
- 观察者注意到公开与私有基准分数之间存在很大差距，这引发了对泛化能力的质疑。
- 有人表示，当前类似 Jev 的开源模型要想接近 Jev 的表现，体量必须相对较大。
用例与实际价值
- 建议的用途包括：支持工单标签、内容审核、日志上的“smart grep”、语义化 shell 历史、家庭自动化意图检测，以及快速的 agent“动作选择”。
- 几位开发者报告称，相比用 LLM 做同样的分类，这类方案在成本和延迟上节省显著，并描述了成功集成到产品中的案例。
- 也有人难以找到令人信服的用例，或者批评示例任务（如退款与流失风险）定义得不够清晰。
开源、竞争与护城河
- 讨论焦点之一是：如果类似的开源模型在几周内出现，Jev 是否还存在真正的护城河；许多人认为真正的护城河在于训练数据和 RL/合成数据流水线，而不是架构本身。
- 有人认为 Jev 过度营销，也有人认为它是一个合理但增量式的创新，其主要价值在于封装与便利性。
- 更广泛的担忧则涉及炒作、投机，以及开源软件多快就能复制商业创意。
工具链与生态
- 评论者提到即将到来的 vLLM 对 System-One 风格端点的支持，以及已经实现 Jev 兼容 API 的现有网关。
- 也有人提到围绕 Ollaya 和 Laya 构建的替代推理引擎和 Web UI，并讨论 GPU/CUDA 版本支持。