HackerRank open sourceó su ATS. Mi currículum obtuvo 90/100. Oh, espera 74. No — 88

Alcance y propósito de la herramienta

• El sistema de código abierto no es un ATS completo en uso de producción; se construyó para clasificar decenas de miles de currículums de prácticas para que los humanos sepan qué leer primero.
• La configuración de demostración usa un modelo local pequeño (gemma3 4B, temp 0.1); el uso interno real al parecer usa modelos Gemini más grandes y umbrales muy bajos, con solo la cola inferior descartada automáticamente.

No determinismo de LLM y variación en la puntuación

• Varias personas reproducen grandes oscilaciones en la puntuación del mismo currículum (p. ej., 48–99/100) entre ejecuciones y modelos.
• Un largo subhilo debate si temperatura 0 o 0.1 debería ser determinista, tocando softmax, no determinismo de punto flotante, batching, inicialización de PRNG, GPUs frente a CPUs frente a TPUs.
• El consenso: se puede diseñar una inferencia casi determinista, pero la mayoría de las configuraciones en la nube no lo hacen, y la determinación no arreglaría criterios de evaluación fundamentalmente débiles.

Diseño de la rúbrica y sesgos incorporados

• La puntuación favorece en gran medida el open source (35 puntos) y los proyectos personales (30) por encima de la experiencia laboral (25).
• Muchos sostienen que esto penaliza sistemáticamente a: personas con familias o aficiones no relacionadas con programación, quienes en startups hacen “trabajo extra” que no es público, ingenieros mayores o autodidactas, y quienes no están activos en GitHub.
• Algunos lo ven como una selección de codificadores “intrínsecamente motivados” u obsesivos; otros lo ven como una selección del exceso de trabajo y el privilegio.

Eficacia, legalidad y equidad del filtrado con IA

• Quienes contratan describen un volumen abrumador de postulantes y ven cualquier filtro automático que avance a ~30–35% como una mejora frente al triaje solo humano.
• Los críticos responden que un filtro no mejor que el azar simplemente descarta candidatos cualificados antes, y que el azar podría lograrse de forma más barata y transparente.
• Hay preocupación de que la puntuación opaca con LLM pueda introducir discriminación ilegal (artículo 22 del GDPR de la UE, leyes de igualdad de empleo de EE. UU.), especialmente porque entradas como nombres, escuelas y ubicaciones se correlacionan con clases protegidas, incluso si los prompts dicen “no usarlas”.

Crítica al prompt / diseño del sistema

• El prompt principal agrupa muchas subtareas (OSS, complejidad de proyectos, habilidades) en un solo paso con rangos vagos de 0–35 y muchos adjetivos (“significativo”, “sustancial”), empujando un juicio duro al modelo.
• Sugerencias: dividir en tareas más pequeñas, usar rúbricas aditivas o categóricas, vincular las puntuaciones a evidencia explícita, eliminar campos sensibles antes de hacer el prompt y confiar en salidas estructuradas.
• Algunos señalan alucinaciones (por ejemplo, otorgar puntos de Google Summer of Code que no aparecen en el CV).

Reflexiones más amplias sobre la contratación

• Muchos ven la contratación basada en currículums y guiada por ATS como ya arbitraria; los LLM amplifican la opacidad y recompensan el relleno de palabras de moda y los CV generados por IA.
• Se discuten alternativas: pruebas de muestra de trabajo, solicitudes limitadas o con tiempo acotado, sorteos aleatorios entre candidatos mínimamente cualificados, o filtrado basado en cuestionarios escritos en lugar de currículums.