Inkling 2 Mini

一款新的开放权重语言模型 Inkling 2 Mini 因在编码和推理任务上能与 Qwen 3.8‑27B 等更大模型相匹敌甚至抗衡而引发关注,同时在 32–64 GB 的 Mac 和中端 GPU 等消费级硬件上仍具有可运行性。它结合了循环 Transformer 架构、Mixture-of-Experts 路由以及 4-bit 训练,以每个 token 更多计算换取更低内存需求,这既激发了对本地、快速、够用助手的兴奋,也引发了对冗长输出、知识缺口以及安全性/可解释性的担忧。早期测试者报告其工具使用、编码能力和量化表现都很强,但真实世界表现参差不齐,尤其是在重度“推理”模式导致长输出或失控循环时。

整体反馈与对比

  • 许多评论者印象非常深刻;如果基准测试能反映真实使用,称 Inkling 2 Mini “好到离谱”。
  • 经常被拿来与 Qwen 3.8 27B / Qwen 3.6 35B 和 Muse Glimmer 对比;不少人表示它在较低的激活参数量下,代码和某些推理任务上看起来具有竞争力,甚至略胜一筹。
  • 一些人认为它在编码和数据工作上像一个“frontier-lite”模型,但并不一定在所有用例上都更强。

循环 Transformer 架构

  • 大家对这种循环式设计兴趣很高:中间层会在每个 token 上重复使用多次,相当于在不增加参数的情况下提高深度。
  • 讨论中将其与更早的研究(Universal Transformer、递归模型)以及那些提升能力的 DIY“层重复”技巧联系起来。
  • 被认为的好处包括:每个 token 更多推理、可能更少依赖冗长的文本推理链、以及更好的编码表现。
  • 顾虑在于:循环会增加每个 token 的计算量和 KV cache 大小;对实时速度和可解释性的影响仍不明确。

本地部署、量化与引擎

  • GGUF 量化已经可用;最近的 PR 已让 llama.cpp 支持落地,不过仍然比较粗糙。
  • 报告中的解码速度差异很大:
    • 在高端 NVIDIA(5090、3090)和 AMD(7900XTX、9070XT)GPU 上,用户在调整后看到 20–50 tok/s 以上;有些人一开始只有约 10 tok/s。
    • 在配备 32–64GB 内存的 M1/M2/M4 Mac 上,用户使用 Q4 可获得约 10–20 tok/s;被认为相当实用,但仍低于理论带宽上限。
  • 在 AMD 上,Vulkan 往往比 ROCm 在 llama.cpp 中表现更好;有人推荐特定补丁、batch size 调优,或替代服务器(例如 radiance)。
  • FlashAttention 和 nvfp4 的一些怪癖限制了部分 KV 量化选项;Metal/MLX 上的支持还不够成熟。

实际表现:编码、工具、文风

  • 编码演示让许多人印象深刻;用户报告称 Python 和 SQL 输出简洁且质量不错,在启用后工具调用和搜索能力也很强。
  • 也有人看到一些奇怪行为:捏造 API/hooks、即使搜索后仍顽固地坚持错误信念,以及偶尔没有真正执行它声称要调用的工具。
  • 散文质量整体上受到喜欢,但有些人觉得回答过于简短,或者稍微有点“怪”;如果只是写作用途,一些人仍然更喜欢 Gemma 4 或 Muse Glimmer。

Token 使用、推理等级与冗长度

  • 这个模型非常“话痨”,尤其是在某些 harness 中的“extra high”推理设置下,单个任务会烧掉数万 token。
  • 一些人认为这对日常使用不现实,而且高推理等级用巨大的延迟和上下文消耗换来的收益却很有限。
  • 另一些人指出,循环并不会增加事实性知识;它提升的是推理,但仍需要工具/搜索来弥补知识缺口。

安全性、对齐与风险

  • 循环模型让一些评论者担忧:更多“不可见”的内部推理可能会降低可监测性,相比明确的 chain-of-thought 更难观察。
  • 也有人认为这种担忧被夸大了,理由是循环在功能上与更深的网络类似,而所有现代 LLM 本来就已经是不透明的。
  • 关于 AI 赋能的网络攻击能力和生物恐怖风险,也存在更广泛的争论,观点从“已经存在但可控”到显著提高 “p(doom)” 不等。

在生态系统中的角色与商业模式

  • 它被视为严肃本地模型的重要一步,能够在 32–64GB 的 Mac 和消费级 GPU 上运行,或许还能在本地实现多智能体设置。
  • 一些人将其视为小型、高效、开放权重模型趋势的一部分(通常是 MoE + 循环 + 低比特训练)。
  • 对其商业动机的猜测包括:声望、未来被收购的可能性、企业微调/服务,以及一种“Red Hat 风格”的支持模式。