Kolibri：一个主权开放权重模型

模型目标与特点

• 78B 参数的稀疏 MoE，每个 token 约有 35 亿个激活参数；以 Apache 2.0 许可证开放权重。
• 强烈聚焦德语：自定义分词器、>20% 德语数据、专门的德语 Common Crawl 管线、大量合成德语改写。
• 被定位为面向受监管的本地部署场景的“主权”模型，适用于公共行政、工业和航空航天。
• 训练中使用了拒答数据和 Merlin–Arthur 风格协议，以鼓励说“我不知道”，而不是自信地胡编乱造。

性能与基准测试

• 许多评论者认为，在小型/MoE 领域里这些基准“令人印象深刻”，并指出其吞吐量与质量之间的权衡表现不错。
• 也有人指出，Qwen3.8 27B dense（尤其是 Qwen3.8 Flash）往往得分更高，包括在 Kolibri 自己的德语基准上。
• 讨论强调了权衡：Kolibri 使用更多内存，但每个 token 的计算量更少；竞争的 dense 模型则相反。
• 被认为不是写代码的顶尖选择；用于 RAG、抽取和分类尚可，但爱好者可能更喜欢其他开放模型。

德语重点与用户印象

• 被广泛讨论为特别适合德语文档、官僚流程和本地企业知识库。
• 有不少关于“德国式思维”、传真机、超长复合词、守时、委员会和 DIN 标准的玩笑。
• 团队成员指出，这个模型在识别德语笑话方面出人意料地差，这与一些用户印象相符。

主权、地缘政治与技术栈控制

• 关于“主权”到底是什么意思展开了很大争论：
  • 一方认为：只有开放权重还不够；国家（或欧盟）需要完整的训练管线，甚至可能需要主权硬件。
  • 另一方认为：多个彼此独立的开放权重供应商，已经比美国/中国主导更有助于主权。
• 有人认为“主权”这个说法是在为较弱的性能找借口；也有人认为，在国家安全、战争和监控场景下，这一点至关重要。
• Cohere 的收购引发了疑问：有人说德语-加拿大技术栈仍然是“非美/非中”的，因此算主权；也有人不同意。

知识产权、训练数据与开放性

• 对于“知识产权干净”的模型能否保持竞争力持怀疑态度；有人声称严肃模型实际上都依赖“偷来的”数据。
• 反方则引用合理使用/首次销售原则、扫描的合法性以及模型蒸馏；也有人完全拒绝“偷窃”的说法，并批评版权制度本身。
• Kolibri 的贡献者强调使用的是自己整理的管线、合成数据，并避免直接“偷”，同时也承认在世界知识方面存在取舍。
• 技术报告因其对架构、数据管线、过滤和工具的透明度异常高而受到称赞，尽管底层语料并未完全公开。

使用场景、工具与局限

• 建议用途：德国企业 RAG，用于暴露罕见边缘案例；作为“信任适配器”审计其他模型；以及处理受监管的本地部署。
• 一些实际测试者报告其过度拒答（“我不知道”）以及多步骤工具使用能力较弱，尤其是在尝试弄清如何本地运行模型之类的任务中。
• 至少有一个例子显示其在英文中明显幻觉（编造了一首歌），这与“低幻觉”营销说法相矛盾。
• 另一位用户指出其对德国网站法律中的法律引用已经过时，说明存在时效性问题，并呼吁加入日期感知条件。
• 硬件说明：默认使用 FP8；尽管只有 35 亿个激活参数，但完整的 78B 参数仍必须装入内存，这使得真正“便宜硬件”部署在更好的量化方案出现之前仍受限制。