MonadGPT – 如果 ChatGPT 在 17 世纪被发明，会发生什么？
MonadGPT 是一个在 17–18 世纪文本上微调的 7B 参数语言模型，旨在模拟早期近代思想家的写作与推理方式，使人们能够进行沉浸式“时间旅行”对话，用于历史教育与实验。评论者探讨了其用途，例如模拟历史人物辩论、教授文化背景，以及构建特定时期版本（如罗马时代或仅拉丁语模型），同时指出技术限制，如历史语料有限、现代数据“泄漏”进回答中，以及输出重复等问题。许多人认为结果既有趣又发人深省，因为模型的古风文体揭示了过去在科学、医学、宗教和政治方面的观念，也凸显了 LLM 受其训练数据限制的本质。
历史教育与用例
- 许多人认为它在教授历史方面很有潜力，尤其是作为一种面向过去文化的“时间旅行导览”，而不仅仅是日期和事件。
- 建议用途：与早期近代人物的模拟对话、历史思想家之间的辩论，以及用于游戏中的历史真实性 NPC。
- 也有人对将这一想法扩展到其他时期和语言感兴趣：罗马时代的拉丁语、中世纪/早期近代法语、“80 年代”、古英语/早期英语，以及特定思想家（例如福柯）。
训练数据与语言选择
- 模型是在现代指令遵循基座（Mistral/OpenHermes）上，使用早期近代语料微调而成；由于数据限制，并非从旧文本开始从零训练。
- 数据集已公开；未来计划推出更大的法语历史模型（1000–2000）。
- 有意保留历史拼写和排版（包括长 s 带来的混淆），尽管分词器不喜欢这样。
- 对是否应先规范化排版，或先做一个“词典步骤”存在争论。
模型行为与示例
- 用户分享了有趣的输出：关于写作、头痛、闪电、爱情忧郁、加密货币以及对 2023 年的推测等建议，全部都以古风文体呈现。
- 一些回答在历史上“错误”，但与当时的思维方式相符（例如物理、医学、训狗）。
- 循环重复（“新引擎……”，反复用酸清洗，无休止的“再打他一次”）凸显了小模型与采样方面的问题。
真实性与时间污染
- 模型有时会在 17 世纪语气与现代语气之间切换（例如类似维基百科式的定义、对现代政客或产品的认知）。
- 创建者承认存在一个刻意的权衡：良好的指令遵循能力 vs. 深层的“文化重置”。
- 用带伪古风的提示工程有助于将其锚定在过去；建议包括对现代词汇进行惩罚，或重新初始化顶层。
- 一些用户对现代知识“泄漏”感到不满，认为这破坏了时间旅行的幻觉。
技术方面与局限
- 已存在量化的 GGUF 版本；用户报告在配备 llama.cpp 的 M 系列 Mac 上本地运行很顺畅。
- 7B 的小规模和“奇怪”的数据意味着对量化质量和重复问题更敏感。
- 建议包括更好的采样惩罚和更多训练，以减少循环。
哲学与概念争论
- 讨论的问题包括：LLM 能否检验历史解释，还是只能生成自信但无法验证的改写。
- 也争论模型“相信”任何东西究竟意味着什么，还是它只是在操纵 token。
- 有人对从由精英撰写的早期文本中重建“时代精神”持怀疑态度，也质疑帖子标题承诺的是探索平行历史，而不只是风格模拟。