在家微调一个 70B 语言模型

范围：“训练” vs 微调

• 该系统让用户在 2×24GB GPU 上对现有的 70B 模型进行 微调，而不是从头预训练。
• 微调会更新一小部分（约 2%）参数，利用基础模型已有的语言和世界知识。
• 有人认为预训练与微调之间的概念鸿沟被夸大了；“继续预训练”是更合适的表述。
• 从头训练一个 70B 模型仍然需要约 80,000 GPU 小时以及可观的电力成本；这对大多数家庭用户来说仍然遥不可及。

技术方法与开放问题

• QLoRA（4 位量化 + LoRA 适配器）结合 FSDP 可实现多 GPU、内存高效的微调。
• 最近的 <4 位方法（包括三值 / BitNet 风格的 (-1,0,1)）被认为很有前景，尤其适用于推理；原则上将其用于微调似乎可行，但需要新的 kernel。
• 稀疏化（尤其是块稀疏）以及混合稀疏-量化方案（例如 SpQR）被视为互补，但在实践中较为复杂。
• 关于 QLoRA 的缺点仍有疑问：量化会在微调前削弱基础模型；其在微调领域之外的影响尚不清楚。

硬件、平台与分布式训练

• 2×24GB GPU 仍被认为昂贵，但远比 80GB 数据中心 GPU 便宜；目前也在努力实现双 16GB 配置。
• 出于可折腾性，FSDP 比 DeepSpeed 更受青睐，尽管 DeepSpeed 在其他方面被认为功能丰富且稳定。
• 支持跨网络的多节点训练（例如通过 Slurm）。有人提出类似“LLM@home”的分布式社区训练设想，但带宽和软件架构是顾虑。
• Apple Silicon 在大规模推理方面具有吸引人的内存带宽和统一内存优势，但训练支持和原始算力仍落后于 Nvidia。AMD 看起来性价比高，但工具链和驱动仍落后。

用例：RAG vs 微调

• 许多人认为 RAG 更适合注入新的事实知识；微调则擅长风格、格式、行为，以及小范围领域迁移。
• 人们对特定领域助手感兴趣（例如文学、小说写作、个人数据、U‑Net/扩散模型）以及“AI 操作系统”场景；RAG 与小规模微调的最佳组合方式仍被视为未解问题。

风险、能源与开源生态

• 对于让强大模型民主化、降低 AI 权力集中度，存在强烈热情。
• 关于社会风险的争论：有人认为这和发布新工具并无更大危险；也有人认为新能力意味着不容忽视的风险，值得更多反思。
• 能源消耗引发批评；回复指出效率提升、与其他高能耗活动（游戏、飞行、加密货币）的对比，并强调应通过清洁能源扩容，而不是进行使用管制。
• 参与者鼓励非专家通过文档、工具、数据集和社区支持来帮助保持最先进 AI 的开放。