Show HN:你在权重里吗?

总体反响

  • 许多人觉得这个网站有趣、能满足自尊,而且视觉上很吸引人(复古/8 位美学、巧妙的概念)。
  • 也有人把它看作隐私陷阱,或者是一个有教育意义但令人担忧的 LLM 行为演示。

准确性、幻觉与身份碰撞

  • 体验从离谱地准确的摘要到完全胡编乱造都有,尤其是对独特姓氏、开源贡献者、学者,或长期使用的账号名。
  • 即使是全球唯一的名字,有时也会被描述成政治人物、网络安全研究员,或者尤其是职业运动员和娱乐圈人士。
  • 化名和长期使用的线上昵称有时比法定姓名识别得更准确。
  • “幻觉”部分并不完美:有些非常准确的描述被标成了幻觉,而很多错误内容却出现在“主”部分。

危险且诽谤性的误认

  • 一些用户被错误标记为恐怖分子、杀人犯、极端分子或犯罪受害者。
  • 有人指出,对于阿拉伯名字或不常见名字,这个工具经常把他们和受制裁人员或炸弹袭击者混淆。
  • 评论者认为这些误报“可怕”,尤其考虑到有报道称 LLM 可能被用于军事或安保决策。

评分、模型与聚类

  • “强度”被解释为模型自报置信度与跨模型一致性加分的线性组合;评论者指出 LLM 的置信度校准很差。
  • 百分位(“前 N%”)是相对于目前为止的所有查询,而不是更广泛的人群。
  • 一个聚类器将模型输出合并为实体,并判断什么是幻觉;它以召回率优先于精确率进行优化,导致大量误分类。
  • 公开了提示细节;所有模型都使用同一个仅 JSON 的“Who is ?”提示。聚类在一个更便宜的模型上运行。

隐私与数据处理

  • 有人强烈批评所有查询(包括真实姓名)都通过“latest”排行榜公开列出,并可通过 API 访问;后来部分缓解,但数据仍然广泛可访问。
  • 缺乏明确的隐私政策,以及存在跟踪/Cloudflare 检查,让人怀疑其在收集 IP/姓名。
  • 几位评论者认为,应该假定提交给随机网站的任何文本都会被存储并重复使用,甚至可能进入未来的训练集。

UX、成本与设计

  • 页面设计和肖像(由图像模型生成)受到赞扬,但一些人报告了输入 bug、侵入式音效,以及在高负载下的限流错误。
  • 每次查询要运行许多前沿模型和较小模型,成本很高;作者将其描述为一个非商业的“有趣黑客项目和科学实验”。

更广泛的反思

  • 讨论涉及“存在于权重中”作为一种奇怪的数字不朽形式,并引发了关于被遗忘权的问题。
  • 有些人庆幸自己根本没有出现;另一些人则指出,一旦模型摄入公共数据,要把现实身份与网络痕迹完全分离是多么困难。