Gemma 4 12B：一个统一的、无编码器的多模态模型

原文 ↗ Hacker News 讨论 ↗

架构与“无编码器”设计

  • 这里讨论的主要新意是“无编码器”的多模态设计。
  • 视觉/音频输入通过小型投影/嵌入模块（单次矩阵乘加上位置/坐标信息）映射到 LLM 空间，而不是使用大型独立的 ViT/音频编码器。
  • 有人认为这仍然是在“编码”，只不过没有深层编码器网络。
  • 音频路径尤其有争议：据称原始音频帧仅通过一个单独投影传递，没有显式位置嵌入；也有人坚持认为一定存在某种位置机制，但论文据称并非如此。
  • 几位评论者指出这是一种“早期融合”方法，并且有先例（FAIR、EVE、Thinky）。

量化、硬件与“16GB”营销

  • 围绕“可在 16GB 上运行”的说法引发了激烈争论。
  • BF16 权重大约需要 24GB 以上；真正要在 16GB 上使用，需要 8 位或更低精度，而且几乎没有余量。
  • 一些用户在 16–18GB 的 Mac 上遇到“内存不足”错误，认为这种表述具有误导性。
  • 也有人指出 12B 的 int8 版本约占 12GB，4 位版本约占 6GB，并报告在 CPU 和消费级 GPU 上有可用速度。
  • 讨论认为基准测试几乎肯定是在 bf16 下完成的，而真实用户会运行量化版本。

性能与对比

  • 基准和用户经验表明：
    • 12B 对其规模来说很强，但 26B/31B 的 Gemma 4 和 Qwen 3.6 27B/35B 明显更好，尤其是在编码和更难推理方面。
    • 有人认为 Gemma 4 31B 在复杂工程任务上“碾压”同级 Qwen；也有人说 Qwen 仍然更适合编码，尤其是在使用工具时。
    • 一个在 Q4 量化上进行的编码基准显示，其输出在该任务上大致可与 GPT‑4.1 相当，尽管有轻微语法错误。
    • 对于德语任务，12B 大致与 Qwen 3 14B 持平，但低于 31B Gemma / 经过推理调优的 Qwen。

视觉与音频质量

  • 对视觉的评价褒贬不一：
    • 一些人称赞它在视觉输入上的推理能力，以及小型嵌入器带来的速度优势。
    • 另一些人报告了严重失败：把泰姬陵照片、散点图、简单的“这是一个测试”图片或硬币识别错误；有时还会循环输出或产生幻觉。
    • 几位评论者指出，Qwen 多模态模型在图像方面往往优于 Gemma。
  • 音频路径（原始波形投影）在架构上被认为大胆，但可能脆弱；目前还没有实质性的用户音频基准测试。

小型/本地模型的使用场景

  • 报告中的用途包括：听写清理、邮件分流、OCR + 文档结构化、图像描述、会议摘要、分类、面向个人数据的检索增强搜索，以及原型智能体。
  • 常见模式是把问题拆成微任务，在不需要前沿质量的地方依赖本地模型，只在最困难的情况才使用云端模型。

Google 的策略与生态影响

  • 许多人猜测其动机包括：
    • 营销、研究迭代、推动边缘/Android/Chrome 能力、带动 Vertex AI 使用，以及把竞争对手的产品商品化。
    • 对强势的中国开源模型进行对冲，并削弱闭源模型的护城河（OpenAI/Anthropic）。
  • 有人担心 Gemma 会削弱独立开源努力；也有人认为它会推动整个生态更加高效和开放。

工具链、部署与早期问题

  • 讨论活跃地围绕 Ollama、llama.cpp、vLLM、MLX、LiteRT‑LM 和 Edge Gallery 展开。
  • 对 MLX 专属标签、部分多模态支持，以及 MTP（多 token 预测）在流行运行时中仍处于 WIP 状态存在困惑。
  • 早期量化版本存在 bug 或缺失 mmproj 文件；一些用户报告崩溃、内存暴涨或算术表现很差，说明整个栈仍在成熟中。