¿Realmente la similitud del coseno de los embeddings trata de similitud?
La similitud del coseno, la forma estándar de comparar embeddings de alta dimensión en aprendizaje automático, es cuestionada por su capacidad para reflejar la verdadera similitud semántica, especialmente cuando los modelos no fueron entrenados explícitamente para ese objetivo. Los comentaristas señalan que los embeddings pueden situar antónimos cerca entre sí y que los puntajes del coseno son invariantes a rotaciones o reescalados arbitrarios, lo que puede volverlos engañosos sin entrenamiento específico para la tarea. Se mencionan alternativas como la distancia euclídea, la divergencia KL, MMD o métricas específicas del dominio, pero no hay consenso sobre un reemplazo claramente superior y computacionalmente barato.
Función de la similitud del coseno en la semántica
- Muchos sostienen que la similitud del coseno en embeddings de oraciones/palabras tiene poca comprensión semántica “real”; a menudo confunde antónimos con sinónimos porque comparten contextos.
- Otros responden que el significado proviene del modelo de embeddings y del objetivo de entrenamiento; el coseno es solo una herramienta geométrica. Si los embeddings se entrenan para similitud semántica (p. ej., pérdidas contrastivas), el coseno puede ser muy eficaz.
- Algunos afirman que es “semánticamente vacuo” y principalmente útil para recuperación de información, no para una comprensión profunda del lenguaje.
Dependencia de la construcción de los embeddings
- Varios comentarios enfatizan que el comportamiento de similitud está determinado por completo por cómo se aprenden los embeddings, no por el coseno en sí.
- Usar coseno en modelos que nunca fueron entrenados con una pérdida basada en coseno o sensible a la similitud es criticado como injustificado; los ejemplos del artículo se ven como una ilustración de ese desajuste.
- La normalización es un tema recurrente: para vectores normalizados L2, la similitud del coseno, el producto punto y la distancia euclídea (transformada) inducen esencialmente los mismos rankings.
Alternativas y métricas de distancia
- Alternativas sugeridas: Euclídea (L2), L1, diferencias al cuadrado, divergencia KL, Maximum Mean Discrepancy, pérdidas de “annulus gaussiano” y métricas ecológicas específicas del dominio.
- Algunos señalan que existe toda una caja de herramientas matemática y ecológica de distancias, y que las métricas específicas del contexto o del colector podrían ser más apropiadas que un producto punto plano.
- Otros insisten en que no existe un reemplazo general “barato” fundamentalmente mejor; los compromisos son entre velocidad, dimensionalidad y rendimiento específico de la tarea.
Casos de uso prácticos y benchmarks
- A pesar de la crítica teórica, se dice que los embeddings más coseno funcionan bien para minería de bitextos, clasificación, clustering, detección de paráfrasis y reranking, como reflejan los conjuntos de evaluación.
- Hay escepticismo hacia la evaluación impulsada por rankings y la afirmación de que el NLP actual se ha desviado hacia la recuperación de información pura.
Críticas lingüísticas y geométricas
- Algunos argumentan que los espacios latentes de vectores son el formalismo incorrecto para el significado lingüístico central, y abogan en su lugar por enfoques de gramática lógica/categorial.
- Otros destacan la curvatura de las variedades y la densidad no uniforme de los espacios de embeddings, advirtiendo que las distancias euclídeas/del coseno pueden ser engañosas local o globalmente.