Meta AI 发布 Code Llama 70B

原文 ↗ Hacker News 讨论 ↗

Meta 发布 70B 参数的 Code Llama 模型，被视为开放、高端代码生成领域的一大进展，并引发了与 GPT‑4 以及 DeepSeek Coder、Mixtral 等较小竞争者的比较。评论者讨论了它可能的训练方式、基准表现和实际可用性，尤其是通过量化版本在强大的消费级硬件上本地运行，或通过 GPU 租用服务以较低成本使用。一个反复出现的主题是 Meta 的战略动机：通过免费发布强大的基础模型，它给 OpenAI 这类封闭式提供商施压，吸引人才，并把价值重心从专有模型本身转向数据、基础设施和下游应用。

模型能力与对比

  • 许多人对 70B 的 Code Llama 能做什么感到兴奋，尤其是在已有强大的较小代码模型（例如 Deepseek Coder 6.7B、WaveCoder-Ultra-6.7B）以及 AlphaCodium 之类工具（提示词/流程策略，并非新的基础模型）的背景下。
  • 一些用户反馈 Deepseek Coder 在同尺寸上优于 Code Llama；据说 30–35B 的 Deepseek 与其 7B 版本的基准表现相近。
  • 共享的基准测试（BigCode、EvalPlus 等）表明 Code Llama 各变体很强，但并非在所有情况下都是最佳；线程中提到某些方法在 pass@k 上胜过 GPT‑4，但未在独立测试中得到验证。
  • 大家好奇 70B 的 Code Llama 是否能在编程性能上接近 GPT‑4，并成为一个强大的本地 Copilot 替代方案。

硬件、量化与本地使用

  • 70B 通常只有在量化后（通常为 4-bit）才被认为能在本地使用；在研究之外，使用全精度推理被视为浪费。
  • 成功运行的报告包括：
    • 配备 64GB+ 统一内存的 Mac Studio / MacBook：70B 的 4-bit 版本“可用”，但较慢；某些 M1/M2 Ultra 设备上约为 9–10 tok/s。
    • RTX 3090（24GB VRAM）：适合约 33B 模型；70B 需要 CPU offload 或多 GPU，因而会变慢或变复杂。
    • 多 GPU 机器（例如多张 P40、数据中心机箱）可以高效运行 70B+，但需要数据中心级硬件和供电。
  • 关于 4090 是否“足够”运行 70B 的争论：在现实的 4-bit 量化下，通常不够，除非分布到多张 GPU 上。
  • 本地使用的能耗成本被估计为很低（对于典型交互式工作负载，每月大致为几美分到几美元）。

工具、工作流与“本地 Copilot”

  • 常见的本地栈：llama.cpp / GGUF、Ollama、text-generation-webui，以及 IDE 前端如 Continue（VS Code）、Cody、Twinny、JetBrains 插件（CodeGPT）和 Emacs 模式（例如 gptel）。
  • 讨论中的策略：
    • 针对代码库使用 RAG，而不是微调，因为代码变化很快。
    • 对大型模型使用托管 API（Together、Bedrock 等），对日常工作使用本地量化模型。
  • 一些用户已经把 Deepseek 或 Code Llama 本地部署为内部 Copilot，并报告了不错的结果；他们希望 70B 还能进一步改进。

训练数据与开放性

  • 多位评论者断言，70B 的 Code Llama 极不可能用 Meta 内部代码训练，因为存在数据泄露风险。
  • 也有人认为高质量开源代码其实非常短缺，而模型已经摄取了“几乎所有”可用的公共代码。
  • 关于把 Llama 称为“开源”的争论很激烈：
    • 批评意见：许可证限制、缺少数据和完整训练栈，以及算力门槛，意味着它无法复现，也不是真正开放。
    • 反方观点：可再分发的权重加上开源的 PyTorch 栈被视为“足够开放”，并且远胜于纯论文发布。

Meta 的策略与更广泛的影响

  • 许多人认为 Meta 的发布更像是战略行为，而非利他主义：
    • 通过让有能力的基础模型变得便宜或免费，削弱 OpenAI/Google/Microsoft 的护城河。
    • “Commoditize your complement”：把模型变成商品，将优势转移到数据、分发和应用层，而这正是 Meta 的强项。
    • 通过支持开放发布和社区影响力来吸引顶尖 AI 人才。
    • 众包研发和工具；下一代 Meta 模型将受益于社区技术。
    • 在内部改进内容生成、审核，以及元宇宙/VR 世界构建。
  • 也有人认为，这有助于防止单一封闭模型垄断，并让模型供应商更加多元化，但由于 GPU 规模门槛，真正训练前沿模型的可能仍只有少数巨头。
  • 一些人由于 Meta 过去的丑闻而对其动机保持怀疑；另一些人指出，无论意图如何，开放权重发布都确实对开发者有实际好处。