¿Realmente la similitud del coseno de los embeddings trata de similitud?

Función de la similitud del coseno en la semántica

• Muchos sostienen que la similitud del coseno en embeddings de oraciones/palabras tiene poca comprensión semántica “real”; a menudo confunde antónimos con sinónimos porque comparten contextos.
• Otros responden que el significado proviene del modelo de embeddings y del objetivo de entrenamiento; el coseno es solo una herramienta geométrica. Si los embeddings se entrenan para similitud semántica (p. ej., pérdidas contrastivas), el coseno puede ser muy eficaz.
• Algunos afirman que es “semánticamente vacuo” y principalmente útil para recuperación de información, no para una comprensión profunda del lenguaje.

Dependencia de la construcción de los embeddings

• Varios comentarios enfatizan que el comportamiento de similitud está determinado por completo por cómo se aprenden los embeddings, no por el coseno en sí.
• Usar coseno en modelos que nunca fueron entrenados con una pérdida basada en coseno o sensible a la similitud es criticado como injustificado; los ejemplos del artículo se ven como una ilustración de ese desajuste.
• La normalización es un tema recurrente: para vectores normalizados L2, la similitud del coseno, el producto punto y la distancia euclídea (transformada) inducen esencialmente los mismos rankings.

Alternativas y métricas de distancia

• Alternativas sugeridas: Euclídea (L2), L1, diferencias al cuadrado, divergencia KL, Maximum Mean Discrepancy, pérdidas de “annulus gaussiano” y métricas ecológicas específicas del dominio.
• Algunos señalan que existe toda una caja de herramientas matemática y ecológica de distancias, y que las métricas específicas del contexto o del colector podrían ser más apropiadas que un producto punto plano.
• Otros insisten en que no existe un reemplazo general “barato” fundamentalmente mejor; los compromisos son entre velocidad, dimensionalidad y rendimiento específico de la tarea.

Casos de uso prácticos y benchmarks

• A pesar de la crítica teórica, se dice que los embeddings más coseno funcionan bien para minería de bitextos, clasificación, clustering, detección de paráfrasis y reranking, como reflejan los conjuntos de evaluación.
• Hay escepticismo hacia la evaluación impulsada por rankings y la afirmación de que el NLP actual se ha desviado hacia la recuperación de información pura.

Críticas lingüísticas y geométricas

• Algunos argumentan que los espacios latentes de vectores son el formalismo incorrecto para el significado lingüístico central, y abogan en su lugar por enfoques de gramática lógica/categorial.
• Otros destacan la curvatura de las variedades y la densidad no uniforme de los espacios de embeddings, advirtiendo que las distancias euclídeas/del coseno pueden ser engañosas local o globalmente.