The Pile एक 825 GiB विविध, ओपन-सोर्स भाषा मॉडलिंग डेटा सेट है (2020)

मूल लेख ↗ Hacker News चर्चा ↗

डेटासेट की स्थिति और संबंधित कॉर्पोरा

  • The Pile को “पुराना” बताया गया है और लगता है कि यह अब आधिकारिक लिंक से सीधे डाउनलोड नहीं किया जा सकता; लोग मुख्य वितरण के रूप में टोरेंट/मैगनेट लिंक और हार्ड-ड्राइव स्वैप की ओर इशारा करते हैं।
  • कई टिप्पणीकार नए या वैकल्पिक डेटासेट्स की ओर ध्यान दिलाते हैं:
    • The Stack v2 (कोड-केंद्रित) जिसमें 67 TB raw है, जिसे साफ़ करके ~3 TB (900B tokens) तक लाया गया।
    • Dolma और curated sources + filtered Common Crawl के अन्य मिश्रण।
  • एक चल रहे “Pile v2” का भी उल्लेख है, जो केवल permissively licensed data का उपयोग करेगा; कुछ लोग इसे क्षमता में गिरावट मानते हैं, लेकिन कानूनी आवश्यकता के रूप में देखते हैं।

सामग्री की संरचना और पैमाना

  • The Pile कई curated sources का मिश्रण है; प्रमुख विवादास्पद घटक शामिल हैं:
    • “Books3”: एक private ebook tracker का dump, जिसमें बड़ी मात्रा में copyrighted books हैं।
    • “OpenWebText2”: Reddit पर बहुत अधिक upvoted posts से लिंक किए गए web pages।
    • “opensubtitles” से subtitles, जिनमें संभवतः पूरी copyrighted scripts शामिल हैं।
  • कुछ लोगों को 825 GB आश्चर्यजनक रूप से छोटा लगता है; दूसरों का कहना है कि इसे डाउनलोड या host करने की कोशिश करने पर यह काफी बड़ा महसूस होता है।

कॉपीराइट, fair use और वैधता

  • वैधता को लेकर तीखा असहमति है:
    • एक पक्ष तर्क देता है कि copyrighted data पर training fair use है या होनी चाहिए, और models transformative होते हैं, training data की तुलना में छोटे होते हैं, और शायद ही लंबे passages को regurgitate करते हैं।
    • दूसरा पक्ष तर्क देता है:
      • pirated books, subtitles आदि के raw corpora को इकट्ठा करना और फिर redistribue करना सीधा copyright infringement है।
      • fair use को खुद से घोषित नहीं किया जा सकता; अदालतें चार-कारक परीक्षण लागू करती हैं (purpose, nature, amount, market harm)।
      • ऐसे datasets संभवतः “amount” (पूरे works) और “market effect” (models का authors और artists से प्रतिस्पर्धा करना) पर विफल हो जाते हैं।
  • इस बात का अंतर किया गया है कि:
    • किसी model को train करने के लिए works का निजी उपयोग बनाम
    • उन works को bulk datasets में सार्वजनिक रूप से वितरित करना।
  • कुछ लोग इसे torrent sites के समान मानते हैं; अन्य इसे Google Books और पहले के fair-use wins से तुलना करते हैं।

नैतिकता, श्रम और creators पर प्रभाव

  • कई पोस्ट dataset creators और AI कंपनियों को बड़े पैमाने पर copyright violations को “launder” करने और unpaid creative labor का शोषण करने वाला मानती हैं।
  • अन्य लोग तर्क देते हैं कि जानकारी व्यापक रूप से साझा की जानी चाहिए, intellectual property का दायरा अत्यधिक बढ़ गया है, और समाज को लाभों को अपनाना चाहिए भले ही पारंपरिक business models को नुकसान हो।
  • चिंताओं में writers/artists का आर्थिक displacement, style imitation, और training data के संभावित दुरुपयोग (जैसे large image datasets में CSAM) शामिल हैं।