Ollama अब AMD ग्राफ़िक्स कार्ड्स को सपोर्ट करता है

AMD सपोर्ट का महत्व और Nvidia पर प्रभाव

• कई लोग Ollama में AMD सपोर्ट को Nvidia के CUDA मोअट को कमजोर करने वाला मानते हैं, कम से कम inference पक्ष पर।
• Training को अभी भी Nvidia-प्रधान माना जाता है, लेकिन inference में ज़्यादा ध्यान cost per token और VRAM पर होता है, जहाँ AMD प्रतिस्पर्धा कर सकता है।
• Local LLM के प्रति उत्साह कीमत और उपलब्धता के कारण non-Nvidia विकल्पों की मांग बढ़ा रहा है।

Performance, Cost, and VRAM Tradeoffs

• कई टिप्पणियों में कहा गया है कि AMD कार्ड्स सामान्यतः raw performance में RTX 4090 से पीछे रहते हैं, लेकिन प्रति GB VRAM के हिसाब से सस्ते होते हैं।
• कई उपयोगकर्ताओं के लिए थोड़ा कम tokens-per-second के बदले बड़े/बेहतर models चलाना, तेज़ लेकिन VRAM-सीमित Nvidia कार्ड्स से बेहतर है।
• कुछ लोग ठोस आँकड़े बताते हैं (जैसे midrange AMD GPU पर Mistral 7B Q6 पर लगभग 35 tokens/s), लेकिन व्यवस्थित benchmarks को बड़े पैमाने पर “unclear” कहा गया है।

Implementation Details: ROCm, Vulkan, OpenCL, HIP

• Ollama का AMD सपोर्ट llama.cpp पर आधारित है, जो ROCm का उपयोग करता है; एक linked commit ROCm integration की पुष्टि करता है।
• पुराने AMD GPUs के लिए llama.cpp में Vulkan और OpenCL backends मौजूद हैं; performance को CUDA/ROCm से खराब लेकिन उपयोगी बताया गया है।
• HIP को AMD के लिए CUDA-जैसी portability layer के रूप में उल्लेख किया गया है, हालांकि reliability और stability पर बहस है।
• OpenCL को व्यापक रूप से “alive but second-class” और vendor-specific stacks की तुलना में कम सुविधाजनक बताया गया है।

Hardware Compatibility & Workarounds

• आधिकारिक support lists नए RDNA2/3 cards पर केंद्रित हैं; कई उपयोगकर्ता environment variables (जैसे HSA_OVERRIDE_GFX_VERSION=10.3.0) के जरिए अधिक GPUs पर “unofficial” सफलता की रिपोर्ट करते हैं।
• कुछ cards (खासकर 5700XT) में ROCm support नहीं है, जिससे पुराने Nvidia cards से upgrade करने वाले उपयोगकर्ता निराश हैं।
• Integrated Radeon/APU support अभी उपलब्ध नहीं है; issue links संकेत देते हैं कि यह एक ज्ञात सीमा है।

Ollama vs. llama.cpp and Other Tools

• व्यापक सहमति है कि Ollama मूल रूप से llama.cpp के ऊपर एक user-friendly wrapper है, जो registry, सरल CLI, और automatic VRAM-based configuration जोड़ता है।
• कई उपयोगकर्ताओं का कहना है कि उन्हें llama.cpp (खासकर CUDA/ROCm के साथ) compile करने में कठिनाई हुई, लेकिन Ollama का “one-command” उपयोग आसान लगा।
• अन्य लोग अधिक नियंत्रण, performance tuning, concurrency, या multiple models के लिए direct llama.cpp, koboldcpp, या अन्य UIs को पसंद करते हैं।

Production vs. Experimentation Debate

• कुछ का तर्क है कि Ollama मुख्यतः local experimentation और personal use के लिए है, जिसमें concurrency और multi-model serving की कमी है, इसलिए enterprise/production के लिए आदर्श नहीं है।
• अन्य लोग “production-like” personal या small-scale workflows (RAG, local knowledge extraction, on-prem tools) में Ollama का उपयोग रिपोर्ट करते हैं और इसकी simplicity को महत्व देते हैं।
• इस बात को लेकर चिंता है कि llama.cpp अधिकांश कठिन optimization काम करता है जबकि Ollama कहीं ज़्यादा mindshare हासिल कर लेता है, और यह चर्चा भी कि क्या Ollama अपने dependency को पर्याप्त credit देता है और licensing का पालन करता है।