我的模拟：在 24 万条短信上微调 LLM
在个人聊天记录、邮件和日记上微调大型语言模型，正成为一种创建 AI“替身”的方式，用来模仿一个人的语气、偏好，甚至部分内心世界。评论者讨论了从与已故亲人“对话”、保存家族历史，到死后服务和营销等潜在用途，同时也担忧哀伤、执念、同意、版权，以及把经过筛选的文本痕迹误认为真人的风险。模型选择、训练方法和硬件限制等技术细节也被提到，并伴随对长期以来一直探索数字幽灵和上传自我的科幻作品的引用。
治疗与情感问题
- 有些人认为，与所爱之人的 AI“幽灵”对话可能会带来安慰或治疗作用；另一些人则认为，这有可能延长哀伤、造成不健康的依赖，或让人执着于“改进”这个模拟体。
- 人们将其与保存下来的语音信箱、灵媒，以及在死后回答问题的纪念视频系统作比较；但这些东西是否真的能帮助人们疗伤，并不清楚。
- 担忧包括“幻觉式”的“揭示”（例如虚构的外遇或偏爱），以及人们可能会选择已故伴侣的模拟体，而不是去面对分手带来的情绪。
- 少数人认为，最健康的看法是把它当作数字纪念品，而不是替代品。
伦理、同意与数据使用
- 一些发帖者认为，在未经明确许可的情况下，用他人的消息来训练模型是不道德的；另一些人则认为，这并不比人类阅读并内化文本更糟。
- 关于用受版权保护的文本训练是否类似于复制一本书的争论；对于模型是否是数据集的“压缩”，以及这在法律和道德上意味着什么，分歧非常大。
技术路径与局限
- 人们分享了使用旧模型（GPT-2、GPT-J）和大型聊天记录的尝试，结果常常是内容相关但输出不连贯。较新的模型（如 Mistral）据说要好得多。
- 讨论涉及微调与嵌入：用微调来塑造风格/人格，用嵌入和检索来做事实回忆，有时再结合直接的笔记本/邮件搜索。
- 人们讨论了硬件限制和量化；普遍共识是，经过高度量化的大模型往往能胜过小型高精度模型，包括在低精度 LoRA 微调方面。
- 实用建议包括：导出邮件、搭建本地 IMAP、使用现有的微调仓库和教程。
潜在应用与商业点子
- 想象中的服务包括祖先聊天机器人、死后私信、墓地或 MMO“幽灵”世界、遗嘱/家族史助手，以及托管式“数字遗产”服务。
- 一些人预计大型科技公司最终会利用邮件和消息历史来营销此类服务；另一些人则对隐私和营销画像感到担忧。
文化、哲学与科幻视角
- 非西方文化中对祖先的态度，可能让此类服务在某些文化里更容易被接受。
- 有几位评论者认为，理想化、经筛选的拟像可能会加剧不胜任感，就像社交媒体人格一样。
- 许多科幻作品被提及，探讨数字分身、死后的模拟及其意想不到的后果，这既强化了人们的着迷，也加深了不安。