El dilema de ü/ü

Normalización vs. colación y el bug real

  • Muchos señalan que el problema del artículo es la falta de una normalización Unicode consistente, no un fallo inherente de Unicode.
  • Los Formatos de Normalización Unicode (NFC/NFD) manejan caracteres compuestos frente a descompuestos; las secuencias canónicamente equivalentes deberían renderizarse de forma idéntica.
  • Otros subrayan que la normalización (NFC/NFD) y la colación/búsqueda (Unicode Collation Algorithm, TR10) son problemas distintos; ambos importan para igualdad, ordenación y búsqueda.

Confusables, seguridad y búsqueda

  • Varios discuten los “confusables” de Unicode (puntos de código visualmente similares pero distintos) para spam, phishing y abuso.
  • Existen bibliotecas para mapear cadenas a regex o a grupos canónicos de “confusables” y detectar trucos como ℍ℮1l೦ ≈ “Hello”.
  • Hay escepticismo sobre colapsar todo a una sola forma, porque algunos caracteres son legítimamente confusables con más de una letra base.

Sistemas de archivos, macOS y el dolor de la normalización

  • Históricamente, macOS normalizaba los nombres de archivo a NFD; APFS cambió detalles pero dejó un ecosistema desordenado con normalización mezclada y supuestos erróneos en herramientas.
  • Esto causa fallos multiplataforma (p. ej., nombres de archivo que parecen iguales y colisionan, diacríticos renderizados en posiciones incorrectas, conflictos “ß” vs “ss”).
  • Se elogia ZFS por su normalización configurable; HFS+/APFS y las interacciones con git se citan como casos concretos de fallo.

Comportamiento de búsqueda, diacríticos y locales

  • Hay un fuerte desacuerdo sobre cómo “debería” tratar la búsqueda los acentos:
    • Algunos quieren búsqueda insensible a acentos (ayudando a usuarios no nativos, limitaciones del teclado).
    • Otros insisten en que confluir letras (p. ej., n vs ñ, cono vs coño) rompe el significado y la búsqueda precisa.
  • Hay consenso en que los sistemas necesitan modos exactos y difusos, a menudo sensibles a la locale, y que Unicode por sí solo no resuelve reglas específicas de cada idioma (I turca, Å/Ä/Ö suecas, IJ neerlandés, dígrafos húngaros, etc.).

Nombres, pasaportes y frustración en el mundo real

  • Múltiples historias sobre nombres con diacríticos (p. ej., ü, ß, escrituras no latinas) que fallan en sistemas gubernamentales, bancarios, de viajes y de TI heredada.
  • Los atajos incluyen “ascii-izar” nombres, usar grafías oficiales dobles o incluso cambiar legalmente el nombre; algunos comentaristas lo ven como pragmático, otros como inaceptable.
  • Se mencionan regulaciones europeas (p. ej., el requisito de exactitud del RGPD) como presión externa para arreglar el manejo defectuoso de nombres.

Compromisos de diseño de Unicode y unificación Han

  • Un bando critica múltiples codificaciones para caracteres visualmente iguales y marcas combinantes, deseando que Unicode hubiera impuesto una sola forma canónica.
  • Otros responden que:
    • Unicode debe hacer round-trip con codificaciones heredadas y respetar escrituras distintas y comportamientos de mayúsculas/minúsculas.
    • “Glifo idéntico → mismo punto de código” está mal definido entre fuentes, escrituras e historia, y la unificación Han muestra lo controvertida que ya es la unificación.
  • Varios señalan que el tratamiento correcto del texto casi siempre requiere locale (y a veces etiquetado de idioma), no solo puntos de código en bruto.