HackerRank ने अपना ATS ओपन-सोर्स किया। मेरा रिज़्यूमे 90/100 स्कोर हुआ। अरे रुको, 74। नहीं—88

मूल लेख ↗ Hacker News चर्चा ↗

टूल का दायरा और उद्देश्य

  • ओपन-सोर्स किया गया सिस्टम प्रोडक्शन में इस्तेमाल होने वाला पूरा ATS नहीं है; इसे दसियों हज़ार इंटर्न रिज़्यूमे रैंक करने के लिए बनाया गया था ताकि इंसान पहले क्या पढ़ना है, यह जान सकें।
  • डेमो कॉन्फ़िग एक छोटा लोकल मॉडल (gemma3 4B, temp 0.1) उपयोग करता है; वास्तविक आंतरिक उपयोग में कथित तौर पर बड़े Gemini मॉडल और बहुत कम cutoffs इस्तेमाल होते हैं, और केवल सबसे निचले हिस्से को ही अपने आप हटाया जाता है।

LLM की गैर-नियतात्मकता और स्कोरिंग में भिन्नता

  • कई लोग एक ही रिज़्यूमे पर अलग-अलग रन और मॉडलों में बड़े स्कोर-झटके पुन: उत्पन्न करते हैं (जैसे, 48–99/100)।
  • एक लंबी उप-चर्चा इस बात पर बहस करती है कि temperature 0 या 0.1 वास्तव में deterministic होना चाहिए या नहीं, जिसमें softmax, floating-point non-determinism, batching, PRNG seeding, GPUs बनाम CPUs बनाम TPUs शामिल हैं।
  • सहमति: आप लगभग-नियतात्मक inference इंजीनियर कर सकते हैं, लेकिन ज़्यादातर cloud setups ऐसा नहीं करते, और determinism मूल रूप से कमज़ोर evaluation criteria को ठीक नहीं करेगा।

रूब्रिक डिज़ाइन और अंतर्निहित पक्षपात

  • स्कोरिंग open source (35 points) और personal projects (30) को work experience (25) की तुलना में बहुत ज़्यादा महत्व देती है।
  • कई लोगों का तर्क है कि यह व्यवस्थित रूप से दंडित करता है: परिवार वाले या non-coding hobbies रखने वाले लोग, startup में काम करने वाले जिनका “extra work” सार्वजनिक नहीं होता, older या self-taught engineers, और जो GitHub पर सक्रिय नहीं हैं।
  • कुछ इसे “intrinsically motivated” या जुनूनी coders को चुनना मानते हैं; अन्य इसे overwork और privilege को चुनना मानते हैं।

AI स्क्रीनिंग की प्रभावशीलता, वैधता और निष्पक्षता

  • hiring managers आवेदकों की भारी मात्रा का वर्णन करते हैं और मानते हैं कि कोई भी auto-filter जो लगभग 30–35% को आगे बढ़ाता है, केवल इंसानों द्वारा triage करने की तुलना में एक सुधार है।
  • आलोचक कहते हैं कि random से बेहतर न होने वाला filter सिर्फ योग्य उम्मीदवारों को पहले ही हटा देता है, और randomness को कहीं अधिक सस्ते और पारदर्शी तरीके से हासिल किया जा सकता है।
  • चिंता यह है कि opaque LLM scoring अवैध भेदभाव ला सकती है (EU GDPR Article 22, US equal-employment law), खासकर क्योंकि names, schools, और locations जैसे inputs protected classes से सह-संबंधित होते हैं, भले ही prompt कहे “इनका उपयोग न करें।”

Prompt / System डिज़ाइन की आलोचना

  • मुख्य prompt कई subtasks (OSS, project complexity, skills) को एक ही step में 0–35 की अस्पष्ट ranges और कई adjectives (“significant,” “substantial”) के साथ जोड़ता है, जिससे कठिन judgment model पर आ जाता है।
  • सुझाव: छोटे tasks में विभाजित करें, additive या categorical rubrics उपयोग करें, scores को स्पष्ट evidence से जोड़ें, prompting से पहले sensitive fields हटाएँ, और structured outputs पर निर्भर करें।
  • कुछ लोग hallucinations का उल्लेख करते हैं (जैसे CV में मौजूद न होने पर Google Summer of Code points देना)।

Hiring पर व्यापक विचार

  • कई लोग resume-based और ATS-driven hiring को पहले से ही मनमाना मानते हैं; LLMs opacity बढ़ाते हैं और buzzword stuffing तथा AI-generated CVs को इनाम देते हैं।
  • चर्चा किए गए विकल्प: work-sample tests, capped या time-bounded applications, minimally qualified candidates के बीच random lotteries, या resumes के बजाय written questionnaires पर screening।