嵌入向量的余弦相似度真的在衡量“相似性”吗？

余弦相似度在语义中的作用

• 许多人认为，句子/词向量上的余弦相似度并没有多少真正的“语义”理解；它常常会把反义词和同义词混淆在一起，因为它们共享上下文。
• 另一些人反驳说，意义来自嵌入模型和训练目标；余弦只是一个几何工具。如果嵌入是为语义相似性而训练的（例如使用对比损失），余弦可以非常有效。
• 也有人认为它在语义上是“空洞的”，主要适用于信息检索，而不是深层语言理解。

对嵌入构造方式的依赖

• 多条评论强调，相似性行为完全由嵌入是如何学习出来的决定，而不是由余弦本身决定。
• 对那些从未用基于余弦或感知相似性的损失函数训练过的模型使用余弦，被批评为没有根据；文中的例子被视为说明了这种不匹配。
• 归一化是一个反复出现的话题：对于 L2 归一化向量，余弦相似度、点积以及（变换后的）欧氏距离会诱导出本质上相同的排序。

替代方案与距离度量

• 提议的替代方案包括：欧氏距离（L2）、L1、平方差、KL 散度、最大均值差异（Maximum Mean Discrepancy）、“高斯环带（Gaussian annulus）”损失，以及特定领域的生态学度量。
• 有人指出，数学和生态学中有一整套距离工具箱，而上下文相关或流形感知的度量可能比平坦的点积更合适。
• 也有人坚持认为，并不存在一种本质上更好的通用、廉价替代方案；权衡在于速度、维度和任务特定性能之间。

实际用例与基准测试

• 尽管理论上有批评，嵌入加余弦据称在 bitext mining、分类、聚类、释义检测和重排序中表现良好，这也反映在各类基准套件里。
• 一些人对由排行榜驱动的评估持怀疑态度，并认为当前 NLP 已偏离到纯信息检索上。

语言学与几何学批评

• 有人认为，潜在向量空间并不是刻画核心语言意义的合适形式，而应转向逻辑/范畴语法方法。
• 另一些人强调嵌入空间的流形曲率和非均匀密度，警告欧氏/余弦距离在局部或全局上都可能误导。