Show HN:你在权重里吗?
总体反响
- 许多人觉得这个网站有趣、能满足自尊,而且视觉上很吸引人(复古/8 位美学、巧妙的概念)。
- 也有人把它看作隐私陷阱,或者是一个有教育意义但令人担忧的 LLM 行为演示。
准确性、幻觉与身份碰撞
- 体验从离谱地准确的摘要到完全胡编乱造都有,尤其是对独特姓氏、开源贡献者、学者,或长期使用的账号名。
- 即使是全球唯一的名字,有时也会被描述成政治人物、网络安全研究员,或者尤其是职业运动员和娱乐圈人士。
- 化名和长期使用的线上昵称有时比法定姓名识别得更准确。
- “幻觉”部分并不完美:有些非常准确的描述被标成了幻觉,而很多错误内容却出现在“主”部分。
危险且诽谤性的误认
- 一些用户被错误标记为恐怖分子、杀人犯、极端分子或犯罪受害者。
- 有人指出,对于阿拉伯名字或不常见名字,这个工具经常把他们和受制裁人员或炸弹袭击者混淆。
- 评论者认为这些误报“可怕”,尤其考虑到有报道称 LLM 可能被用于军事或安保决策。
评分、模型与聚类
- “强度”被解释为模型自报置信度与跨模型一致性加分的线性组合;评论者指出 LLM 的置信度校准很差。
- 百分位(“前 N%”)是相对于目前为止的所有查询,而不是更广泛的人群。
- 一个聚类器将模型输出合并为实体,并判断什么是幻觉;它以召回率优先于精确率进行优化,导致大量误分类。
- 公开了提示细节;所有模型都使用同一个仅 JSON 的“Who is
?”提示。聚类在一个更便宜的模型上运行。
隐私与数据处理
- 有人强烈批评所有查询(包括真实姓名)都通过“latest”排行榜公开列出,并可通过 API 访问;后来部分缓解,但数据仍然广泛可访问。
- 缺乏明确的隐私政策,以及存在跟踪/Cloudflare 检查,让人怀疑其在收集 IP/姓名。
- 几位评论者认为,应该假定提交给随机网站的任何文本都会被存储并重复使用,甚至可能进入未来的训练集。
UX、成本与设计
- 页面设计和肖像(由图像模型生成)受到赞扬,但一些人报告了输入 bug、侵入式音效,以及在高负载下的限流错误。
- 每次查询要运行许多前沿模型和较小模型,成本很高;作者将其描述为一个非商业的“有趣黑客项目和科学实验”。
更广泛的反思
- 讨论涉及“存在于权重中”作为一种奇怪的数字不朽形式,并引发了关于被遗忘权的问题。
- 有些人庆幸自己根本没有出现;另一些人则指出,一旦模型摄入公共数据,要把现实身份与网络痕迹完全分离是多么困难。