Linux पर अपने Nvidia GPU की VRAM को swap space के रूप में उपयोग करें

मूल लेख ↗ Hacker News चर्चा ↗

प्रेरणा और उपयोग के मामले

  • यह सीमित, न-अपग्रेड होने वाली RAM वाली मशीनों के लिए है, लेकिन अपेक्षाकृत बड़ी, अक्सर-निष्क्रिय Nvidia VRAM के लिए (जैसे, hybrid GPU mode वाले लैपटॉप, बड़े gaming/AI कार्ड वाले desktop)।
  • यह अप्रयुक्त VRAM को SSD पर लिखने के बजाय swap के रूप में उपयोग करने देता है, जिससे flash wear बच सकती है और अन्यथा बेकार पड़ी memory का उपयोग हो सकता है।
  • यह खास तौर पर तब आकर्षक माना जाता है जब workloads (gaming बनाम “productivity” / भारी RAM उपयोग) एक साथ नहीं चल रहे हों, ताकि GPU idle होने पर VRAM को फिर से उपयोग किया जा सके।

प्रदर्शन और कार्यान्वयन संबंधी चिंताएँ

  • रिपोर्ट किया गया throughput (~1.3 GB/s on a laptop RTX 3070) सैद्धांतिक PCIe/VRAM bandwidth से काफी कम है।
  • थ्रेड इसके कारण बताता है:
    • NBD का उपयोग करने वाला user-space implementation, जो अपेक्षाकृत धीमा माना जाता है।
    • bounce buffer के माध्यम से अतिरिक्त copies और प्रति 4K page कई kernel/user context switches।
    • सीमित queue depth और NBD के साथ खराब request coalescing।
    • ZRAM compression overhead (हालाँकि कुछ लोगों का मानना है कि यह मामूली है)।
  • NVMe पर swapping को एक अत्यधिक optimized, zero-copy, DMA-based path के रूप में वर्णित किया गया है, जो व्यवहार में तेज़ हो सकता है।
  • सुझाव: overhead कम करने और concurrency बढ़ाने के लिए ublk या custom kernel block driver पर जाएँ।

हार्डवेयर और आर्किटेक्चरल सीमाएँ

  • VRAM को बस system RAM में नहीं जोड़ा जा सकता क्योंकि अधिकांश desktop GPUs CPU के साथ cache-coherent नहीं होते और उन्हें uncached या write-combined mapped करना पड़ता है, जिससे वे “real” RAM के रूप में बहुत धीमे हो जाते हैं।
  • Datacenter GPUs और future CXL-style devices coherency दे सकते हैं, लेकिन latency फिर भी DRAM से बहुत अधिक रहती है।
  • ऐतिहासिक और वैकल्पिक approaches मौजूद हैं (MTD/phram, vramfs, OpenCL/Vulkan-based ramdisks, Windows GpuRamDrive)।

Swap semantics और SSD wear

  • कुछ लोग VRAM swap को SSD wear से बचने का तरीका मानते हैं; दूसरे तर्क देते हैं कि वास्तविक-world swap usage आम तौर पर SSD life को सार्थक रूप से कम नहीं करती।
  • swap पर व्यापक बहस:
    • कुछ लोग बड़ा swap configure करते हैं (अक्सर suspend-to-disk के लिए) और अचानक OOM से बचने के लिए उस पर निर्भर रहते हैं।
    • अन्य minimal या no swap पसंद करते हैं, और heavy swapping को “dead” system के समान मानते हैं।
    • एक दृष्टिकोण: swap का मुख्य काम anonymous और file-backed memory के बीच fair reclamation है, emergency RAM नहीं।

उपयोगिता, जोखिम, और power

  • चिंता है कि VRAM को swap के रूप में उपयोग करने से:
    • GPU power-gating रुक सकता है, जिससे laptops पर battery life खराब हो सकती है।
    • graphical या compute workloads से प्रतिस्पर्धा हो सकती है और VRAM खत्म होने पर crashes हो सकते हैं (खासकर dynamic Wayland compositors पर)।
  • GPU pressure पर VRAM swap को dynamically enable/disable करना चाहा जाता है, लेकिन अभी पूरी तरह सुलझा नहीं है; इसे to-do area के रूप में चिह्नित किया गया है।
  • classic microkernel-style चिंता (swap daemon को खुद को page करना पड़ना) को उसकी pages को unswappable/pinned रखकर संबोधित किया गया है।