HackerRank tornou open source seu ATS. Meu currículo marcou 90/100. Ah, espera, 74. Não – 88

Escopo e Propósito da Ferramenta

• O sistema de código aberto não é um ATS completo em uso na produção; ele foi construído para classificar dezenas de milhares de currículos de estagiários para que humanos saibam o que ler primeiro.
• A configuração de demonstração usa um modelo local pequeno (gemma3 4B, temp 0,1); o uso interno real, segundo relatos, usa modelos Gemini maiores e limites de corte muito baixos, com apenas a cauda inferior sendo descartada automaticamente.

Não Determinismo de LLM e Variação de Pontuação

• Várias pessoas reproduzem grandes oscilações de pontuação no mesmo currículo (por exemplo, 48–99/100) entre execuções e modelos.
• Um longo subthread debate se temperatura 0 ou 0,1 deveria ser determinística, abordando softmax, não determinismo de ponto flutuante, batching, seed de PRNG, GPUs vs CPUs vs TPUs.
• O consenso: é possível projetar inferência quase determinística, mas a maioria das configurações em nuvem não o faz, e o determinismo não corrigiria critérios de avaliação fundamentalmente fracos.

Projeto da Rubrica e Vieses Embutidos

• A pontuação favorece fortemente open source (35 pontos) e projetos pessoais (30) em vez de experiência de trabalho (25).
• Muitos argumentam que isso penaliza sistematicamente: pessoas com ოჯახos ou hobbies não ligados a programação, quem está em startups cujo “trabalho extra” não é público, engenheiros mais velhos ou autodidatas, e quem não é ativo no GitHub.
• Alguns veem isso como seleção de programadores “intrinsecamente motivados” ou obsessivos; outros veem como seleção de excesso de trabalho e privilégio.

Eficácia, Legalidade e Justiça da Triagem por IA

• Gestores de contratação descrevem um volume esmagador de candidatos e veem qualquer filtro automático que avance cerca de 30–35% como uma melhoria em relação à triagem apenas humana.
• Críticos respondem que um filtro não melhor do que o acaso apenas descarta candidatos qualificados mais cedo, e que aleatoriedade poderia ser obtida de forma mais barata e transparente.
• Há preocupação de que a pontuação opaca por LLM possa introduzir discriminação ilegal (Artigo 22 do GDPR na UE, leis de igualdade de emprego nos EUA), especialmente porque entradas como nomes, escolas e locais correlacionam-se com classes protegidas, mesmo se os prompts disserem “não use-os”.

Crítica ao Prompt / Design do Sistema

• O prompt principal reúne muitas subtarefas (OSS, complexidade de projetos, habilidades) em uma única etapa com intervalos vagos de 0–35 e muitos adjetivos (“significant”, “substantial”), empurrando julgamentos difíceis para o modelo.
• Sugestões: dividir em tarefas menores, usar rubricas aditivas ou categóricas, vincular pontuações a evidências explícitas, remover campos sensíveis antes de promptar e confiar em saídas estruturadas.
• Alguns apontam alucinações (por exemplo, atribuir pontos de Google Summer of Code que não estão presentes no CV).

Reflexões Mais Amplas sobre Contratação

• Muitos veem a contratação baseada em currículo e conduzida por ATS como algo já arbitrário; LLMs ampliam a opacidade e recompensam o enchimento de palavras-chave e CVs gerados por IA.
• Alternativas discutidas: testes de amostra de trabalho, candidaturas limitadas ou com tempo delimitado, loterias aleatórias entre candidatos minimamente qualificados, ou triagem baseada em questionários escritos em vez de currículos.