Nvidia
Ollama, hesaplama yeteneği 5.0 ve üzeri, sürücü sürümü 550 ve daha yeni olan Nvidia GPU'ları destekler. Hesaplama yeteneği 5.0 ile 6.2 arasındaki Nvidia GPU'ları için 570 veya daha yeni bir sürücü sürümü gerekir.
Kartınızın desteklenip desteklenmediğini kontrol etmek için hesaplama uyumluluğunuzu kontrol edin: https://developer.nvidia.com/cuda-gpus
| Hesaplama Yeteneği | Aile | Kartlar |
|---|---|---|
| 12.1 | Nvidia | GB10 (DGX Spark) |
| 12.0 | GeForce RTX 50xx | RTX 5060 RTX 5060 Ti RTX 5070 RTX 5070 Ti RTX 5080 RTX 5090 |
| Nvidia Profesyonel | RTX PRO 4000 Blackwell RTX PRO 4500 Blackwell RTX PRO 5000 Blackwell RTX PRO 6000 Blackwell | |
| 9.0 | Nvidia | H200 H100 |
| 8.9 | GeForce RTX 40xx | RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060 |
| Nvidia Profesyonel | L4 L40 RTX 6000 | |
| 8.6 | GeForce RTX 30xx | RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 RTX 3050 Ti RTX 3050 |
| Nvidia Profesyonel | A40 RTX A6000 RTX A5000 RTX A4000 A3000 RTX A2000 A10 A16 A2 | |
| 8.0 | Nvidia | A100 A30 |
| 7.5 | GeForce GTX/RTX | GTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060 |
| Nvidia Profesyonel | T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500 | |
| Quadro | RTX 8000 RTX 6000 RTX 5000 RTX 4000 | |
| 7.0 | Nvidia | TITAN V V100 Quadro GV100 |
| 6.1 | Nvidia TITAN | TITAN Xp TITAN X |
| GeForce GTX | GTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050 Ti GTX 1050 | |
| Quadro | P6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520 | |
| Tesla | P40 P4 | |
| 6.0 | Nvidia | Tesla P100 Quadro GP100 |
| 5.2 | GeForce GTX | GTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950 |
| Quadro | M6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620 | |
| Tesla | M60 M40 | |
| 5.0 | GeForce GTX | GTX 750 Ti GTX 750 NVS 810 |
| Quadro | K2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M |
Eski GPU'ları desteklemek için yerel olarak derlemek üzere geliştirici bölümüne bakın.
GPU Seçimi
Sisteminizde birden fazla Nvidia GPU varsa ve Ollama'nın yalnızca bir alt kümesini kullanmasını sınırlamak istiyorsanız, CUDA_VISIBLE_DEVICES değişkenini virgülle ayrılmış bir GPU listesi olarak ayarlayabilirsiniz. Sayısal kimlikler kullanılabilir ancak sıralama değişebileceğinden UUID'ler daha güvenilirdir. GPU'larınızın UUID'sini nvidia-smi -L komutunu çalıştırarak öğrenebilirsiniz. GPU'ları yoksaymak ve CPU kullanımını zorlamak istiyorsanız geçersiz bir GPU kimliği (örneğin "-1") kullanın.
Linux Askıya Alma / Devam Ettirme
Linux'ta, bir askıya alma / devam ettirme döngüsünden sonra bazen Ollama Nvidia GPU'unuzu tespit edemez ve CPU üzerinde çalışmaya geri döner. Bu sürücü hatasını sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm komutlarıyla Nvidia UVM sürücüsünü yeniden yükleyerek geçici olarak çözebilirsiniz.
AMD Radeon
Ollama, ROCm kütüphanesi aracılığıyla aşağıdaki AMD GPU'ları destekler:
NOT: Ek AMD GPU desteği Vulkan Kütüphanesi tarafından sağlanmaktadır - aşağıya bakın.
Linux Desteği
Ollama, Linux'ta AMD ROCm v7 sürücüsünü gerektirir. AMD'nin ROCm belgelerinden amdgpu-install yardımcı programını kullanarak yükleyebilir veya yükseltebilirsiniz.
| Aile | Kartlar ve hızlandırıcılar |
|---|---|
| AMD Radeon RX | 9070 XT 9070 GRE 9070 9060 XT 9060 XT LP 9060 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7700 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 |
| AMD Radeon AI PRO | R9700 R9600D |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 |
| AMD Ryzen AI | Ryzen AI Max+ 395 Ryzen AI Max 390 Ryzen AI Max 385 Ryzen AI 9 HX 475 Ryzen AI 9 HX 470 Ryzen AI 9 465 Ryzen AI 9 HX 375 Ryzen AI 9 HX 370 Ryzen AI 9 365 |
| AMD Instinct | MI350X MI300X MI300A MI250X MI250 MI210 MI100 |
Windows Desteği
Ollama, Windows'ta AMD ROCm v7 / HIP7 uyumlu bir sürücü yığını gerektirir.
| Aile | Kartlar ve hızlandırıcılar |
|---|---|
| AMD Radeon RX | 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 |
Linux'ta Geçersiz Kılmalar
Ollama, tüm AMD GPU'ları desteklemeyen AMD ROCm kütüphanesini kullanır. Bazı durumlarda sistemi, yakın bir benzer LLVM hedefini kullanmaya zorlayabilirsiniz. Örneğin Radeon RX 5400 gfx1034 (ayrıca 10.3.4 olarak bilinir) ancak ROCm şu anda bu hedefi desteklemiyor. En yakın destek gfx1030'dur. x.y.z sözdizimi ile HSA_OVERRIDE_GFX_VERSION ortam değişkenini kullanabilirsiniz. Örneğin, sistemi RX 5400 üzerinde çalışmaya zorlamak için sunucu için bir ortam değişkeni olarak HSA_OVERRIDE_GFX_VERSION="10.3.0" ayarlarsınız. Desteklenmeyen bir AMD GPU'nuz varsa aşağıdaki desteklenen türler listesini kullanarak deneme yapabilirsiniz.
Farklı GFX sürümlerine sahip birden fazla GPU'nuz varsa, bunları ayrı ayrı ayarlamak için ortam değişkeninin sonuna sayısal cihaz numarasını ekleyin. Örneğin, HSA_OVERRIDE_GFX_VERSION_0=10.3.0 ve HSA_OVERRIDE_GFX_VERSION_1=11.0.0
Şu anda Linux'ta bilinen desteklenen GPU türleri aşağıdaki LLVM Hedefleridir. Bu tablo, bu LLVM hedeflerine karşılık gelen bazı örnek GPU'ları göstermektedir:
| LLVM Hedefi | Örnek Bir GPU |
|---|---|
| gfx908 | Radeon Instinct MI100 |
| gfx90a | Radeon Instinct MI210/MI250 |
| gfx942 | Radeon Instinct MI300X/MI300A |
| gfx950 | Radeon Instinct MI350X |
| gfx1030 | Radeon PRO V620 |
| gfx1100 | Radeon PRO W7900 |
| gfx1101 | Radeon PRO W7700 |
| gfx1102 | Radeon RX 7600 |
| gfx1150 | Ryzen AI 9 HX 375 |
| gfx1151 | Ryzen AI Max+ 395 |
| gfx1200 | Radeon RX 9070 |
| gfx1201 | Radeon RX 9070 XT |
Ek yardım için Discord üzerinden iletişime geçin veya bir sorun kaydedin.
GPU Seçimi
Sisteminizde birden fazla AMD GPU varsa ve Ollama'nın yalnızca bir alt kümesini kullanmasını sınırlamak istiyorsanız, ROCR_VISIBLE_DEVICES değişkenini virgülle ayrılmış bir GPU listesi olarak ayarlayabilirsiniz. Cihazların listesini rocminfo komutuyla görebilirsiniz. GPU'ları yoksaymak ve CPU kullanımını zorlamak istiyorsanız geçersiz bir GPU kimliği (örneğin "-1") kullanın. Mümkün olduğunda, cihazı benzersiz olarak tanımlamak için sayısal değer yerine Uuid kullanın.
Konteyner İzni
Bazı Linux dağıtımlarında SELinux, konteynerlerin AMD GPU cihazlarına erişmesini engelleyebilir. Ana sistemde konteynerlerin cihazları kullanmasına izin vermek için sudo setsebool container_use_devices=1 komutunu çalıştırabilirsiniz.
Metal (Apple GPU'ları)
Ollama, Metal API aracılığıyla Apple cihazlarında GPU hızlandırmasını destekler.
Vulkan GPU Desteği
Windows ve Linux'ta ek GPU desteği Vulkan aracılığıyla sağlanır. Vulkan, arka uç yüklendiğinde varsayılan olarak etkinleştirilir. Windows'ta çoğu GPU üreticisi sürücüleri Vulkan desteği ile birlikte gelir ve ek kurulum adımları gerektirmez. Çoğu Linux dağıtımı ek bileşenlerin yüklenmesini gerektirir ve Mesa ile GPU üreticisine özel paketler arasında Vulkan sürücüleri için birden fazla seçeneğiniz olabilir.
- Linux Intel GPU Talimatları - https://dgpu-docs.intel.com/driver/client/overview.html
- Linux AMD GPU Talimatları - https://amdgpu-install.readthedocs.io/en/latest/install-script.html#specifying-a-vulkan-implementation
Bazı Linux dağıtımlarında AMD GPU'lar için ollama kullanıcısını render grubuna eklemeniz gerekebilir.
Ollama zamanlayıcısı, en uygun zamanlama kararları vermek için GPU kütüphaneleri tarafından raporlanan kullanılabilir VRAM verilerini kullanır. Vulkan, bu kullanılabilir VRAM verilerini ortaya çıkarmak için ek yetenekler veya kök olarak çalışma gerektirir. Ne kök erişimi ne de bu yetenek verilmezse, Ollama en iyi çaba zamanlama kararları vermek için modellerin yaklaşık boyutlarını kullanır.
bash
sudo setcap cap_perfmon+ep /usr/local/bin/ollamaGPU Seçimi
Belirli Vulkan GPU'larını seçmek için, SSS bölümünde açıklandığı gibi Ollama sunucusunda GGML_VK_VISIBLE_DEVICES ortam değişkenini bir veya daha fazla sayısal kimlik olarak ayarlayabilirsiniz. Vulkan tabanlı GPU'larla ilgili herhangi bir sorunla karşılaşırsanız, OLLAMA_VULKAN=0 veya GGML_VK_VISIBLE_DEVICES=-1 ayarlayarak tüm Vulkan GPU'ları devre dışı bırakabilirsiniz.
Vulkan iGPU'si kararsız olan karma iGPU/dGPU sistemlerinde, Vulkan'ı etkin tutun ve GGML_VK_VISIBLE_DEVICES değişkenini ayrı GPU indeksine ayarlayın. Örneğin, Vulkan1 ayrı GPU ise GGML_VK_VISIBLE_DEVICES=1 kullanın.