Show HN: क्या आप वेट्स में हैं?
समग्र प्रतिक्रिया
- कई लोगों को साइट मज़ेदार, अहंकार बढ़ाने वाली, और देखने में आकर्षक लगती है (रेट्रो/8‑बिट सौंदर्य, चतुर विचार)।
- अन्य लोग इसे एक गोपनीयता जाल या LLM व्यवहार का शिक्षाप्रद लेकिन चिंताजनक डेमो मानते हैं।
सटीकता, हैलुसिनेशन, और पहचान टकराव
- अनुभव ईरिली सटीक सारांशों से लेकर (खासकर अनोखे उपनामों, ओपन-सोर्स योगदानकर्ताओं, अकादमिकों, या लंबे समय से इस्तेमाल हो रहे हैंडल्स के लिए) पूरी तरह गढ़ी हुई बातों तक फैले हैं।
- वैश्विक रूप से अनोखे नामों वाले लोगों को भी अक्सर राजनेता, सुरक्षा शोधकर्ता, या खास तौर पर पेशेवर एथलीट और मनोरंजनकर्ता बताया जाता है।
- छद्मनाम और लंबे समय से चले आ रहे ऑनलाइन हैंडल्स को कभी-कभी कानूनी नामों से अधिक सटीकता से पहचाना जाता है।
- “हैलुसिनेशन्स” अनुभाग अपूर्ण है: कुछ बिल्कुल सही विवरणों को हैलुसिनेशन के रूप में लेबल किया गया है, जबकि कई गलत विवरण “मुख्य” अनुभाग में दिखाई देते हैं।
खतरनाक और मानहानिकारक गलत पहचानें
- कई उपयोगकर्ताओं को गलती से आतंकवादी, हत्यारे, उग्रवादी, या अपराध पीड़ित के रूप में लेबल किया गया है।
- कुछ लोग नोट करते हैं कि अरबी या असामान्य नामों के लिए, टूल अक्सर उन्हें प्रतिबंधित व्यक्तियों या बमवर्षकों के साथ भ्रमित करता है।
- टिप्पणीकार इन गलत सकारात्मक परिणामों को “डरावना” मानते हैं, खासकर इस रिपोर्ट के मद्देनज़र कि LLMs का उपयोग सैन्य या सुरक्षा निर्णय-निर्माण में किया जा सकता है।
स्कोरिंग, मॉडल, और क्लस्टरिंग
- “Strength” को मॉडल द्वारा स्वयं-रिपोर्ट की गई confidence के साथ cross-model agreement पर आधारित बोनस के रैखिक संयोजन के रूप में समझाया गया है; टिप्पणीकार ध्यान देते हैं कि LLM confidence का calibration खराब होता है।
- प्रतिशतक (“Top N%”) अब तक की सभी queries के सापेक्ष है, व्यापक जनसंख्या के नहीं।
- एक clusterer मॉडल आउटपुट को entities में मिलाता है और तय करता है कि क्या hallucination है, recall को precision पर प्राथमिकता देने के लिए optimized, जिसके कारण कई गलत वर्गीकरण होते हैं।
- prompting के विवरण साझा किए गए हैं; सभी मॉडल एक ही JSON-केवल “Who is
?” prompt का उपयोग करते हैं। clustering एक सस्ते मॉडल पर चलती है।
गोपनीयता और डेटा हैंडलिंग
- कड़ी आलोचना कि सभी queries (वास्तविक नामों सहित) “latest” leaderboard के माध्यम से सार्वजनिक रूप से सूचीबद्ध थीं और API से उपलब्ध थीं; बाद में आंशिक रूप से mitigated किया गया, लेकिन डेटा अभी भी व्यापक रूप से सुलभ है।
- स्पष्ट privacy policy की कमी और tracking/Cloudflare checks की उपस्थिति IP/name harvesting की आशंका बढ़ाती है।
- कई लोग तर्क देते हैं कि किसी भी random साइट पर सबमिट किए गए किसी भी पाठ को संग्रहित और पुनः उपयोग किया जा सकता है, संभवतः भविष्य के training sets में।
UX, लागत, और डिज़ाइन
- डिज़ाइन और portraits के लिए प्रशंसा मिली (image model से जनरेटेड), लेकिन कुछ लोग input bugs, intrusive sounds, और लोड के दौरान rate-limit errors की रिपोर्ट करते हैं।
- प्रति query कई frontier और छोटे models चलाना महँगा माना गया है; लेखक द्वारा इसे एक गैर-व्यावसायिक “fun hack and science experiment” कहा गया है।
व्यापक चिंतन
- थ्रेड “being in the weights” को एक अजीब डिजिटल अमरत्व के रूप में छूता है और भुलाए जाने के अधिकार पर प्रश्न उठाता है।
- कुछ लोग बिल्कुल न दिखने से राहत महसूस करते हैं; अन्य लोग नोट करते हैं कि जब मॉडल सार्वजनिक डेटा ingest कर लेते हैं तो वास्तविक जीवन की पहचान को ऑनलाइन निशानों से अलग रखना कितना कठिन है।