A Similaridade de Cosseno de Embeddings é Mesmo Sobre Similaridade?

Papel da Similaridade de Cosseno na Semântica

• Muitos argumentam que a similaridade de cosseno em embeddings de sentença/palavra tem pouca verdadeira compreensão “semântica”; ela frequentemente confunde antônimos com sinônimos porque compartilham contextos.
• Outros contrapõem que o significado vem do modelo de embedding e do objetivo de treinamento; o cosseno é apenas uma ferramenta geométrica. Se os embeddings forem treinados para similaridade semântica (por exemplo, com perdas contrastivas), o cosseno pode ser muito eficaz.
• Alguns afirmam que ela é “semanticamente vazia” e principalmente útil para recuperação de informação, não para compreensão profunda da linguagem.

Dependência da Construção dos Embeddings

• Vários comentários enfatizam que o comportamento de similaridade é inteiramente determinado por como os embeddings são aprendidos, não pelo cosseno em si.
• Usar cosseno em modelos que nunca foram treinados com uma perda baseada em cosseno ou sensível à similaridade é criticado como injustificado; os exemplos do artigo são vistos como ilustrando esse descompasso.
• A normalização é um tema recorrente: para vetores normalizados em L2, a similaridade de cosseno, o produto escalar e a distância Euclidiana (transformada) induzem essencialmente os mesmos rankings.

Alternativas e Métricas de Distância

• Alternativas sugeridas: Euclidiana (L2), L1, diferenças ao quadrado, divergência KL, Maximum Mean Discrepancy, perdas de “Gaussian annulus” e métricas ecológicas específicas do domínio.
• Alguns observam que existe um conjunto matemático e ecológico inteiro de distâncias, e que métricas específicas do contexto ou sensíveis à variedade podem ser mais apropriadas do que um produto escalar plano.
• Outros insistem que não há um substituto geral “barato” fundamentalmente melhor; os trade-offs estão entre velocidade, dimensionalidade e desempenho específico da tarefa.

Casos de Uso Práticos e Benchmarks

• Apesar da crítica teórica, diz-se que embeddings mais cosseno funcionam bem para mineração de bitext, classificação, clustering, detecção de paráfrase e reranking, como refletido em suítes de benchmarks.
• Há ceticismo em relação à avaliação guiada por leaderboards e à दावा de que o NLP atual derivou para pura recuperação de informação.

Críticas Linguísticas e Geométricas

• Alguns argumentam que espaços vetoriais latentes são o formalismo errado para o significado linguístico central, defendendo em vez disso abordagens de gramática lógica/categorial.
• Outros destacam a curvatura da variedade e a densidade não uniforme dos espaços de embedding, advertindo que distâncias Euclidiana/cosseno podem ser enganosas local ou globalmente.