我的 AI 成本从每天 100 美元降到不到 1 美元：用 GPT4 微调 Mixtral
一位 AI 创业者表示，通过用 GPT‑4 生成训练数据，再微调一个开源模型（Mixtral）来替代生产环境中的 OpenAI API，把日常成本从大约 100 美元降到了不到 1 美元。评论者讨论这种做法是否违反 OpenAI 的服务条款，以及小公司实际上会面临哪些法律或实际风险，尤其是在 OpenAI 自身的数据来源也颇具争议的情况下。还有人质疑技术与伦理上的取舍，指出蒸馏后的模型通常不如 GPT‑4，如果悄悄替换会对用户不友好，而且对于窄领域任务来说，手工创建高质量训练数据可能更便宜。
OpenAI 服务条款与合法性
- 多位评论者认为，所描述的工作流程（使用 GPT‑4 的输出来微调 Mixtral）明确违反了 OpenAI 的服务条款，因为这些条款禁止使用输出来开发竞争性的 AI 模型，除非是特定的内部使用场景。
- 也有人质疑，某个细分、面向特定应用的模型是否真的会“与” OpenAI 的产品竞争，并认为该条款可能是针对通用 LLM API 和类似 ChatGPT 的服务。
- 一些人指出，学术性或尚未产品化的工作可能更安全，但一旦商业化，就更容易受到条款执行的影响。
执行风险与法律不确定性
- 许多人认为，OpenAI 现实中最可能的补救措施是切断 API 访问，而不是起诉，尤其是对小用户而言。
- 有几位提到，法院挑战（例如正在进行的媒体诉讼）最终可能会决定训练或输出限制是否本身可执行。
- 还有人强调，即使某人自认为在道义上站得住脚，成为法庭测试案例或失去 API 访问权限，也可能毁掉一门生意或使收购前景变得复杂。
伦理、公平与“盗版”
- 一个强烈主题是：OpenAI 据称在未经同意的情况下、违反其他平台的服务条款训练了内容，因此有些人认为“偷盗偷窃者”的东西在道义上是可以接受的。
- 也有人对此提出反驳，区分“黑客精神”和不道德行为，并强调合同义务，即使自己并不喜欢这些义务。
- 在重视信息自由的人和重视法律/合同谨慎的人之间存在张力。
技术路径与模型质量
- 一些人称赞这种方法是一个聪明、低成本的方式，可以在狭窄领域近似 GPT‑4 的行为。
- 怀疑者认为，经过微调的小模型在压力下仍会明显更弱，而且对于有限领域，完全可以手工编写或手工标注数据。
- 讨论中还提到，来自 LLM 的合成数据被过度使用，而人工标注数据有时反而更快、更便宜，也更一致。
商业模式、成本与“诱导后切换”
- 评论者指出，很多公司已经把 GPT‑4 蒸馏到开源模型中，把它们包装成专有产品，并声称自己在 AI 领域领先。
- 有些人认为这种模式是：先用 GPT‑4 启动产品，等用户被套牢后，再悄悄切换为更便宜的自研模型，把这称为对用户不友好的“enshittification”。
- 也有人讨论经济性：OpenAI 的定价可能会上涨；为了利润率，自托管或开源模型可能会变得必要，但微调和基础设施并非免费，而且可能需要专业技能。
应用特定的担忧
- 被展示的应用因缺少服务条款、隐私政策和定价透明度，同时收集详细的个人数据，而受到批评；一些人把这称为“可疑”。
- 该制作者承认了这些问题，并同意需要更清晰的政策和透明度。