Nvidia
Ollama 支援運算能力 5.0 及以上、驅動程式版本 550 及更新的 NVIDIA GPU。 運算能力 5.0 至 6.2 的 NVIDIA GPU 需要 570 或更新版本的驅動程式。
檢查你的運算能力相容性，確認你的顯示卡是否受支援： https://developer.nvidia.com/cuda-gpus
| 運算能力 | 系列 | 顯示卡 |
|---|---|---|
| 12.1 | NVIDIA | GB10 (DGX Spark) |
| 12.0 | GeForce RTX 50xx | RTX 5060 RTX 5060 Ti RTX 5070 RTX 5070 Ti RTX 5080 RTX 5090 |
| NVIDIA Professional | RTX PRO 4000 Blackwell RTX PRO 4500 Blackwell RTX PRO 5000 Blackwell RTX PRO 6000 Blackwell | |
| 9.0 | NVIDIA | H200 H100 |
| 8.9 | GeForce RTX 40xx | RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060 |
| NVIDIA Professional | L4 L40 RTX 6000 | |
| 8.6 | GeForce RTX 30xx | RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 RTX 3050 Ti RTX 3050 |
| NVIDIA Professional | A40 RTX A6000 RTX A5000 RTX A4000 RTX A3000 RTX A2000 A10 A16 A2 | |
| 8.0 | NVIDIA | A100 A30 |
| 7.5 | GeForce GTX/RTX | GTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060 |
| NVIDIA Professional | T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500 | |
| Quadro | RTX 8000 RTX 6000 RTX 5000 RTX 4000 | |
| 7.0 | NVIDIA | TITAN V V100 Quadro GV100 |
| 6.1 | NVIDIA TITAN | TITAN Xp TITAN X |
| GeForce GTX | GTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050 Ti GTX 1050 | |
| Quadro | P6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520 | |
| Tesla | P40 P4 | |
| 6.0 | NVIDIA | Tesla P100 Quadro GP100 |
| 5.2 | GeForce GTX | GTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950 |
| Quadro | M6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620 | |
| Tesla | M60 M40 | |
| 5.0 | GeForce GTX | GTX 750 Ti GTX 750 NVS 810 |
| Quadro | K2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M |
若要本地建構以支援較舊的 GPU，請參閱 開發者
GPU 選擇
如果你的系統中有多張 NVIDIA GPU，且希望限制 Ollama 僅使用其中一部分，可以將 CUDA_VISIBLE_DEVICES 設定為以逗號分隔的 GPU 清單。可以使用數值 ID，不過順序可能會有所不同，因此使用 UUID 更為可靠。你可以執行 nvidia-smi -L 來查詢 GPU 的 UUID。如果要忽略 GPU 並強制使用 CPU，請使用無效的 GPU ID（例如 -1）。
Linux 休眠與喚醒
在 Linux 上，經過休眠/喚醒循環後，Ollama 有時會無法偵測到你的 NVIDIA GPU，並退回至使用 CPU 執行。你可以透過重新載入 NVIDIA UVM 驅動程式來繞過這個驅動程式錯誤，指令為： sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm
AMD Radeon
Ollama 透過 ROCm 函式庫支援以下 AMD GPU：
注意： 額外的 AMD GPU 支援由 Vulkan 函式庫提供，請參閱下方內容。
Linux 支援
Ollama 在 Linux 上需要 AMD ROCm v7 驅動程式。你可以使用 amdgpu-install 工具進行安裝或升級，相關說明請參閱 AMD ROCm 官方文件。
| 系列 | 顯示卡與加速器 |
|---|---|
| AMD Radeon RX | 9070 XT 9070 GRE 9070 9060 XT 9060 XT LP 9060 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7700 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 |
| AMD Radeon AI PRO | R9700 R9600D |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 |
| AMD Ryzen AI | Ryzen AI Max+ 395 Ryzen AI Max 390 Ryzen AI Max 385 Ryzen AI 9 HX 475 Ryzen AI 9 HX 470 Ryzen AI 9 465 Ryzen AI 9 HX 375 Ryzen AI 9 HX 370 Ryzen AI 9 365 |
| AMD Instinct | MI350X MI300X MI300A MI250X MI250 MI210 MI100 |
Windows 支援
Ollama 在 Windows 上需要具備 AMD ROCm v7 / HIP7 相容性的驅動程式堆疊。
| 系列 | 顯示卡與加速器 |
|---|---|
| AMD Radeon RX | 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 |
Linux 覆寫設定
Ollama 使用 AMD ROCm 函式庫，但該函式庫並非支援所有 AMD GPU。在某些情況下，你可以強制系統嘗試使用相近的類似 LLVM 目標。例如，Radeon RX 5400 對應的目標是 gfx1034（也稱為 10.3.4），但 ROCm 目前尚未支援此目標，最接近的支援目標是 gfx1030。你可以使用環境變數 HSA_OVERRIDE_GFX_VERSION，並以 x.y.z 的格式設定數值。例如，要強制系統在 RX 5400 上執行，請將伺服器的環境變數設定為 HSA_OVERRIDE_GFX_VERSION="10.3.0"。如果你有不受支援的 AMD GPU，可以參考下方的支援類型清單進行測試。
如果你的系統中有多張擁有不同 GFX 版本的 GPU，可以在環境變數後面加上數值裝置編號來個別設定。例如： HSA_OVERRIDE_GFX_VERSION_0=10.3.0 和 HSA_OVERRIDE_GFX_VERSION_1=11.0.0
目前，Linux 上已知受支援的 GPU 類型對應到以下 LLVM 目標。下表展示了對應到這些 LLVM 目標的範例 GPU：
| LLVM 目標 | 範例 GPU |
|---|---|
| gfx908 | Radeon Instinct MI100 |
| gfx90a | Radeon Instinct MI210/MI250 |
| gfx942 | Radeon Instinct MI300X/MI300A |
| gfx950 | Radeon Instinct MI350X |
| gfx1030 | Radeon PRO V620 |
| gfx1100 | Radeon PRO W7900 |
| gfx1101 | Radeon PRO W7700 |
| gfx1102 | Radeon RX 7600 |
| gfx1150 | Ryzen AI 9 HX 375 |
| gfx1151 | Ryzen AI Max+ 395 |
| gfx1200 | Radeon RX 9070 |
| gfx1201 | Radeon RX 9070 XT |
如果需要額外協助，可以在 Discord 上聯繫我們，或提交 issue。
GPU 選擇
如果你的系統中有多張 AMD GPU，且希望限制 Ollama 僅使用其中一部分，可以將 ROCR_VISIBLE_DEVICES 設定為以逗號分隔的 GPU 清單。你可以執行 rocminfo 來查看裝置清單。如果要忽略 GPU 並強制使用 CPU，請使用無效的 GPU ID（例如 -1）。如果有的話，請使用 Uuid 來唯一識別裝置，而非數值 ID。
容器權限
在某些 Linux 發行版中，SELinux 可能會阻止容器存取 AMD GPU 裝置。在宿主系統上，你可以執行 sudo setsebool container_use_devices=1 來允許容器使用這些裝置。
Metal（Apple GPU）
Ollama 透過 Metal API 在 Apple 裝置上提供 GPU 加速支援。
Vulkan GPU 支援
Windows 和 Linux 上的額外 GPU 支援由 Vulkan 提供。當後端安裝完成後，Vulkan 會預設啟用。在 Windows 上，大多數 GPU 廠商的驅動程式已內建 Vulkan 支援，无需額外設定步驟。大多數 Linux 發行版需要安裝額外元件，且你可以選擇 Mesa 或 GPU 廠商專屬套件作為 Vulkan 驅動程式。
- Linux Intel GPU 設定說明 - https://dgpu-docs.intel.com/driver/client/overview.html
- Linux AMD GPU 設定說明 - https://amdgpu-install.readthedocs.io/en/latest/install-script.html#specifying-a-vulkan-implementation
在某些 Linux 發行版上，AMD GPU 可能需要將 ollama 使用者加入 render 群組。
Ollama 排程器會運用 GPU 函式庫回報的可用 VRAM 資料來做出最佳排程決策。Vulkan 需要額外權限或以 root 身份執行才能揭露這些可用 VRAM 資料。如果既沒有 root 權限也沒有該權限，Ollama 會使用模型的大致容量來盡力做出最佳排程決策。
bash
sudo setcap cap_perfmon+ep /usr/local/bin/ollamaGPU 選擇
若要選擇特定的 Vulkan GPU，可以按照 常見問題集 中的說明，在 Ollama 伺服器上將環境變數 GGML_VK_VISIBLE_DEVICES 設定為一個或多個數值 ID。如果遇到與 Vulkan GPU 相關的問題，可以透過設定 OLLAMA_VULKAN=0 或 GGML_VK_VISIBLE_DEVICES=-1 來停用所有 Vulkan GPU。
在內顯/獨顯混合的系統中，如果 Vulkan 內顯不穩定，請保持 Vulkan 啟用，並將 GGML_VK_VISIBLE_DEVICES 設定為獨顯的索引。例如，當 Vulkan1 是獨顯時，請使用 GGML_VK_VISIBLE_DEVICES=1。