एनवीडिया

ओलामा कंप्यूट क्षमता 5.0+ वाले एनवीडिया जीपीयू और ड्राइवर संस्करण 550 और नए संस्करण का समर्थन करता है। कंप्यूट क्षमता 5.0 से 6.2 तक के एनवीडिया जीपीयू के लिए ड्राइवर संस्करण 570 या उससे नया आवश्यक है।

अपने कार्ड का समर्थन होता है या नहीं जानने के लिए अपनी कंप्यूट अनुकूलता जांचें: https://developer.nvidia.com/cuda-gpus

कंप्यूट क्षमता	परिवार	कार्ड
12.1	NVIDIA	GB10 (DGX Spark)
12.0	GeForce RTX 50xx	RTX 5060 RTX 5060 Ti RTX 5070 RTX 5070 Ti RTX 5080 RTX 5090
	NVIDIA Professional	RTX PRO 4000 Blackwell RTX PRO 4500 Blackwell RTX PRO 5000 Blackwell RTX PRO 6000 Blackwell
9.0	NVIDIA	H200 H100
8.9	GeForce RTX 40xx	RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060
	NVIDIA Professional	L4 L40 RTX 6000
8.6	GeForce RTX 30xx	RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 RTX 3050 Ti RTX 3050
	NVIDIA Professional	A40 RTX A6000 RTX A5000 RTX A4000 RTX A3000 RTX A2000 A10 A16 A2
8.0	NVIDIA	A100 A30
7.5	GeForce GTX/RTX	GTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060
	NVIDIA Professional	T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500
	Quadro	RTX 8000 RTX 6000 RTX 5000 RTX 4000
7.0	NVIDIA	TITAN V V100 Quadro GV100
6.1	NVIDIA TITAN	TITAN Xp TITAN X
	GeForce GTX	GTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050 Ti GTX 1050
	Quadro	P6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520
	Tesla	P40 P4
6.0	NVIDIA	Tesla P100 Quadro GP100
5.2	GeForce GTX	GTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950
	Quadro	M6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620
	Tesla	M60 M40
5.0	GeForce GTX	GTX 750 Ti GTX 750 NVS 810
	Quadro	K2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M

पुराने जीपीयू का समर्थन करने के लिए स्थानीय रूप से बिल्ड करने के बारे में डेवलपर देखें।

जीपीयू चयन

यदि आपके सिस्टम में कई एनवीडिया जीपीयू हैं और आप ओलामा का उपयोग एक सबसेट तक सीमित करना चाहते हैं, तो आप CUDA_VISIBLE_DEVICES को जीपीयू की अल्पविराम से अलग की गई सूची में सेट कर सकते हैं। संख्यात्मक आईडी का उपयोग किया जा सकता है, हालांकि क्रम भिन्न हो सकता है, इसलिए UUID अधिक विश्वसनीय होते हैं। आप nvidia-smi -L चलाकर अपने जीपीयू की UUID की जांच कर सकते हैं। यदि आप जीपीयू को अनदेखा करके सीपीयू उपयोग को बाध्य करना चाहते हैं, तो एक अमान्य जीपीयू आईडी (उदाहरण के लिए, "-1") का उपयोग करें।

लिनक्स सस्पेंड/रिज्यूम

लिनक्स पर, सस्पेंड/रिज्यूम साइकल के बाद, कभी-कभी ओलामा आपके एनवीडिया जीपीयू की खोज करने में विफल रह जाता है, और सीपीयू पर चलने के लिए फॉलबैक हो जाता है। आप sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm के साथ एनवीडिया UVM ड्राइवर को फिर से लोड करके इस ड्राइवर बग का परिहार कर सकते हैं।

एएमडी रेडियन

ओलामा ROCm लाइब्रेरी के माध्यम से निम्नलिखित एएमडी जीपीयू का समर्थन करता है:

नोट: एएमडी जीपीयू का अतिरिक्त समर्थन वुल्कन लाइब्रेरी द्वारा प्रदान किया जाता है - नीचे देखें।

लिनक्स समर्थन

लिनक्स पर ओलामा के लिए एएमडी ROCm v7 ड्राइवर आवश्यक है। आप एएमडी के ROCm डॉक्यूमेंटेशन से amdgpu-install यूटिलिटी का उपयोग करके इसे इंस्टॉल या अपग्रेड कर सकते हैं।

परिवार	कार्ड और एक्सेलेरेटर
AMD Radeon RX	9070 XT 9070 GRE 9070 9060 XT 9060 XT LP 9060 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7700 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800
AMD Radeon AI PRO	R9700 R9600D
AMD Radeon PRO	W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620
AMD Ryzen AI	Ryzen AI Max+ 395 Ryzen AI Max 390 Ryzen AI Max 385 Ryzen AI 9 HX 475 Ryzen AI 9 HX 470 Ryzen AI 9 465 Ryzen AI 9 HX 375 Ryzen AI 9 HX 370 Ryzen AI 9 365
AMD Instinct	MI350X MI300X MI300A MI250X MI250 MI210 MI100

विंडोज समर्थन

विंडोज पर ओलामा के लिए एएमडी ROCm v7 / HIP7-समर्थ्ता ड्राइवर स्टैक आवश्यक है।

परिवार	कार्ड और एक्सेलेरेटर
AMD Radeon RX	7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600
AMD Radeon PRO	W7900 W7800 W7700 W7600 W7500

लिनक्स पर ओवरराइड

ओलामा एएमडी ROCm लाइब्रेरी का उपयोग करता है, जो सभी एएमडी जीपीयू का समर्थन नहीं करती है। कुछ मामलों में आप सिस्टम को एक समान LLVM टार्गेट का उपयोग करने के लिए बाध्य कर सकते हैं जो उससे करीब हो। उदाहरण के लिए, रेडियन RX 5400 का LLVM टार्गेट gfx1034 (10.3.4 के रूप में भी जाना जाता है) है, हालांकि ROCm वर्तमान में इस टार्गेट का समर्थन नहीं करता है। सबसे करीब समर्थन gfx1030 है। आप x.y.z सिंटैक्स के साथ HSA_OVERRIDE_GFX_VERSION पर्यावरण चर का उपयोग कर सकते हैं। उदाहरण के लिए, RX 5400 पर चलने के लिए सिस्टम को बाध्य करने के लिए, आप सर्वर के लिए पर्यावरण चर के रूप में HSA_OVERRIDE_GFX_VERSION="10.3.0" सेट करेंगे। यदि आपके पास कोई असमर्थित एएमडी जीपीयू है, तो आप नीचे दिए गए समर्थित प्रकारों की सूची का उपयोग करके प्रयोग कर सकते हैं।

यदि आपके पास विभिन्न GFX संस्करणों वाली कई जीपीयू हैं, तो उन्हें व्यक्तिगत रूप से सेट करने के लिए पर्यावरण चर के अंत में संख्यात्मक डिवाइस नंबर जोड़ें। उदाहरण के लिए, HSA_OVERRIDE_GFX_VERSION_0=10.3.0 और HSA_OVERRIDE_GFX_VERSION_1=11.0.0

इस समय, लिनक्स पर ज्ञात समर्थित जीपीयू प्रकार निम्नलिखित LLVM टार्गेट हैं। यह तालिका इन LLVM टार्गेट से मैप होने वाली कुछ उदाहरण जीपीयू को दिखाती है:

LLVM टार्गेट	एक उदाहरण जीपीयू
gfx908	Radeon Instinct MI100
gfx90a	Radeon Instinct MI210/MI250
gfx942	Radeon Instinct MI300X/MI300A
gfx950	Radeon Instinct MI350X
gfx1030	Radeon PRO V620
gfx1100	Radeon PRO W7900
gfx1101	Radeon PRO W7700
gfx1102	Radeon RX 7600
gfx1150	Ryzen AI 9 HX 375
gfx1151	Ryzen AI Max+ 395
gfx1200	Radeon RX 9070
gfx1201	Radeon RX 9070 XT

अतिरिक्त सहायता के लिए डिस्कॉर्ड पर संपर्क करें या इश्यू फाइल करें।

जीपीयू चयन

यदि आपके सिस्टम में कई एएमडी जीपीयू हैं और आप ओलामा का उपयोग एक सबसेट तक सीमित करना चाहते हैं, तो आप ROCR_VISIBLE_DEVICES को जीपीयू की अल्पविराम से अलग की गई सूची में सेट कर सकते हैं। आप rocminfo के साथ डिवाइसों की सूची देख सकते हैं। यदि आप जीपीयू को अनदेखा करके सीपीयू उपयोग को बाध्य करना चाहते हैं, तो एक अमान्य जीपीयू आईडी (उदाहरण के लिए, "-1") का उपयोग करें। जब उपलब्ध हो, तो डिवाइस को विशिष्ट रूप से पहचानने के लिए संख्यात्मक मान के बजाय Uuid का उपयोग करें।

कंटेनर अनुमति

कुछ लिनक्स डिस्ट्रिब्यूशन में, SELinux कंटेनरों को एएमडी जीपीयू डिवाइसों तक पहुंचने से रोक सकता है। होस्ट सिस्टम पर आप डिवाइसों का उपयोग करने के लिए कंटेनरों को अनुमति देने के लिए sudo setsebool container_use_devices=1 चला सकते हैं।

मेटल (एप्पल जीपीयू)

ओलामा मेटल API के माध्यम से एप्पल डिवाइसों पर जीपीयू एक्सेलेरेशन का समर्थन करता है।

वुल्कन जीपीयू समर्थन

विंडोज और लिनक्स पर अतिरिक्त जीपीयू समर्थन वुल्कन के माध्यम से प्रदान किया जाता है। बैकएंड इंस्टॉल होने पर वुल्कन डिफॉल्ट रूप से सक्षम होता है। विंडोज पर अधिकांश जीपीयू विक्रेताओं के ड्राइवर वुल्कन समर्थन के साथ बंडल आते हैं और इन्हें अतिरिक्त सेटअप स्टेप की आवश्यकता नहीं होती है। अधिकांश लिनक्स डिस्ट्रिब्यूशन में अतिरिक्त कॉम्पोनेंट इंस्टॉल करने की आवश्यकता होती है, और आपके पास मेसा और जीपीयू विक्रेता विशिष्ट पैकेज के बीच वुल्कन ड्राइवर के कई विकल्प हो सकते हैं

• लिनक्स इंटेल जीपीयू निर्देश - https://dgpu-docs.intel.com/driver/client/overview.html
• लिनक्स एएमडी जीपीयू निर्देश - https://amdgpu-install.readthedocs.io/en/latest/install-script.html#specifying-a-vulkan-implementation

कुछ लिनक्स डिस्ट्रिब्यूशन में एएमडी जीपीयू के लिए, आपको ollama उपयोगकर्ता को render ग्रुप में जोड़ने की आवश्यकता हो सकती है।

ओलामा शेड्यूलर जीपीयू लाइब्रेरी द्वारा रिपोर्ट की गई उपलब्ध VRAM डेटा का उपयोग करके इष्टतम शेड्यूलिंग निर्णय लेता है। वुल्कन को इस उपलब्ध VRAM डेटा को एक्सपोज करने के लिए अतिरिक्त क्षमताओं या रूट के रूप में चलने की आवश्यकता होती है। यदि न रूट एक्सेस और न ही यह क्षमता प्रदान की जाती है, तो ओलामा सर्वोत्तम प्रयास शेड्यूलिंग निर्णय लेने के लिए मॉडल के अनुमानित आकार का उपयोग करेगा।

sudo setcap cap_perfmon+ep /usr/local/bin/ollama

जीपीयू चयन

विशिष्ट वुल्कन जीपीयू का चयन करने के लिए, आप FAQ में वर्णित अनुसार ओलामा सर्वर पर एक या अधिक संख्यात्मक आईडी के लिए पर्यावरण चर GGML_VK_VISIBLE_DEVICES सेट कर सकते हैं। यदि आप वुल्कन आधारित जीपीयू के साथ किसी भी समस्या का सामना करते हैं, तो आप OLLAMA_VULKAN=0 या GGML_VK_VISIBLE_DEVICES=-1 सेट करके सभी वुल्कन जीपीयू को अक्षम कर सकते हैं।

मिश्रित iGPU/dGPU सिस्टम पर जहां वुल्कन iGPU अस्थिर है, वहां वुल्कन को सक्षम रखें और GGML_VK_VISIBLE_DEVICES को डिस्क्रीट जीपीयू इंडेक्स पर सेट करें। उदाहरण के लिए, जब Vulkan1 डिस्क्रीट जीपीयू हो, तो GGML_VK_VISIBLE_DEVICES=1 का उपयोग करें।