Nvidia
Ollama는 컴퓨팅 능력 5.0 이상 및 드라이버 버전 550 이상의 NVIDIA GPU를 지원합니다. 컴퓨팅 능력 5.0부터 6.2까지의 NVIDIA GPU의 경우 드라이버 버전 570 이상이 필요합니다.
사용 중인 그래픽 카드가 지원되는지 확인하려면 컴퓨팅 호환성을 확인하세요: https://developer.nvidia.com/cuda-gpus
| 컴퓨팅 능력 | 제품군 | 카드 |
|---|---|---|
| 12.1 | NVIDIA | GB10 (DGX Spark) |
| 12.0 | GeForce RTX 50xx | RTX 5060 RTX 5060 Ti RTX 5070 RTX 5070 Ti RTX 5080 RTX 5090 |
| NVIDIA Professional | RTX PRO 4000 Blackwell RTX PRO 4500 Blackwell RTX PRO 5000 Blackwell RTX PRO 6000 Blackwell | |
| 9.0 | NVIDIA | H200 H100 |
| 8.9 | GeForce RTX 40xx | RTX 4090 RTX 4080 SUPER RTX 4080 RTX 4070 Ti SUPER RTX 4070 Ti RTX 4070 SUPER RTX 4070 RTX 4060 Ti RTX 4060 |
| NVIDIA Professional | L4 L40 RTX 6000 | |
| 8.6 | GeForce RTX 30xx | RTX 3090 Ti RTX 3090 RTX 3080 Ti RTX 3080 RTX 3070 Ti RTX 3070 RTX 3060 Ti RTX 3060 RTX 3050 Ti RTX 3050 |
| NVIDIA Professional | A40 RTX A6000 RTX A5000 RTX A4000 RTX A3000 RTX A2000 A10 A16 A2 | |
| 8.0 | NVIDIA | A100 A30 |
| 7.5 | GeForce GTX/RTX | GTX 1650 Ti TITAN RTX RTX 2080 Ti RTX 2080 RTX 2070 RTX 2060 |
| NVIDIA Professional | T4 RTX 5000 RTX 4000 RTX 3000 T2000 T1200 T1000 T600 T500 | |
| Quadro | RTX 8000 RTX 6000 RTX 5000 RTX 4000 | |
| 7.0 | NVIDIA | TITAN V V100 Quadro GV100 |
| 6.1 | NVIDIA TITAN | TITAN Xp TITAN X |
| GeForce GTX | GTX 1080 Ti GTX 1080 GTX 1070 Ti GTX 1070 GTX 1060 GTX 1050 Ti GTX 1050 | |
| Quadro | P6000 P5200 P4200 P3200 P5000 P4000 P3000 P2200 P2000 P1000 P620 P600 P500 P520 | |
| Tesla | P40 P4 | |
| 6.0 | NVIDIA | Tesla P100 Quadro GP100 |
| 5.2 | GeForce GTX | GTX TITAN X GTX 980 Ti GTX 980 GTX 970 GTX 960 GTX 950 |
| Quadro | M6000 24GB M6000 M5000 M5500M M4000 M2200 M2000 M620 | |
| Tesla | M60 M40 | |
| 5.0 | GeForce GTX | GTX 750 Ti GTX 750 NVS 810 |
| Quadro | K2200 K1200 K620 M1200 M520 M5000M M4000M M3000M M2000M M1000M K620M M600M M500M |
구형 GPU를 지원하려면 로컬 빌드 방법은 개발자 문서를 참조하세요.
GPU 선택
시스템에 여러 NVIDIA GPU가 있는 경우 Ollama가 일부만 사용하도록 제한하려면 CUDA_VISIBLE_DEVICES를 쉼표로 구분된 GPU 목록으로 설정할 수 있습니다. 숫자 ID를 사용할 수 있지만 순서가 다를 수 있으므로 UUID가 더 안정적입니다. nvidia-smi -L 명령을 실행하여 GPU의 UUID를 확인할 수 있습니다. GPU를 무시하고 CPU 사용을 강제하려면 유효하지 않은 GPU ID(예: "-1")를 사용하세요.
Linux 일시 중지 및 재개
Linux에서 절전 모드 진입 후 재개 사이클이 끝나면 가끔 Ollama가 NVIDIA GPU를 인식하지 못하고 CPU로 실행되는 경우가 있습니다. sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm 명령으로 NVIDIA UVM 드라이버를 다시 불러와 이 드라이버 버그를 우회할 수 있습니다.
AMD Radeon
Ollama는 ROCm 라이브러리를 통해 다음 AMD GPU를 지원합니다:
참고: 추가 AMD GPU 지원은 Vulkan 라이브러리에서 제공합니다 - 아래 내용을 참조하세요.
Linux 지원
Linux에서 Ollama를 사용하려면 AMD ROCm v7 드라이버가 필요합니다. AMD ROCm 문서에서 제공하는 amdgpu-install 유틸리티를 사용하여 설치하거나 업그레이드할 수 있습니다.
| 제품군 | 카드 및 가속기 |
|---|---|
| AMD Radeon RX | 9070 XT 9070 GRE 9070 9060 XT 9060 XT LP 9060 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7700 7600 XT 7600 6950 XT 6900 XTX 6900XT 6800 XT 6800 |
| AMD Radeon AI PRO | R9700 R9600D |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 W6900X W6800X Duo W6800X W6800 V620 |
| AMD Ryzen AI | Ryzen AI Max+ 395 Ryzen AI Max 390 Ryzen AI Max 385 Ryzen AI 9 HX 475 Ryzen AI 9 HX 470 Ryzen AI 9 465 Ryzen AI 9 HX 375 Ryzen AI 9 HX 370 Ryzen AI 9 365 |
| AMD Instinct | MI350X MI300X MI300A MI250X MI250 MI210 MI100 |
Windows 지원
Windows에서 Ollama를 사용하려면 AMD ROCm v7 / HIP7을 지원하는 드라이버 스택이 필요합니다.
| 제품군 | 카드 및 가속기 |
|---|---|
| AMD Radeon RX | 7900 XTX 7900 XT 7900 GRE 7800 XT 7700 XT 7600 XT 7600 |
| AMD Radeon PRO | W7900 W7800 W7700 W7600 W7500 |
Linux 오버라이드
Ollama는 모든 AMD GPU를 지원하지 않는 AMD ROCm 라이브러리를 활용합니다. 일부 경우 시스템이 유사한 LLVM 타겟을 사용하도록 강제할 수 있습니다. 예를 들어 라데온 RX 5400은 gfx1034(10.3.4로도 알려짐)이지만 현재 ROCm은 이 타겟을 지원하지 않습니다. 가장 가까운 지원 타겟은 gfx1030입니다. x.y.z 문법을 사용하여 HSA_OVERRIDE_GFX_VERSION 환경 변수를 설정할 수 있습니다. 예를 들어 RX 5400에서 실행되도록 강제하려면 서버의 환경 변수로 HSA_OVERRIDE_GFX_VERSION="10.3.0"을 설정하세요. 지원되지 않는 AMD GPU의 경우 아래 지원 타겟 목록을 사용하여 실험해볼 수 있습니다.
여러 GFX 버전의 GPU가 있는 경우 환경 변수 뒤에 숫자 장치 번호를 붙여 개별적으로 설정할 수 있습니다. 예를 들어 HSA_OVERRIDE_GFX_VERSION_0=10.3.0 및 HSA_OVERRIDE_GFX_VERSION_1=11.0.0과 같이 설정합니다.
현재 Linux에서 지원되는 것으로 알려진 GPU 타입은 다음과 같은 LLVM 타겟입니다. 이 표는 해당 LLVM 타겟에 매핑되는 일부 GPU 예시를 보여줍니다:
| LLVM 타겟 | GPU 예시 |
|---|---|
| gfx908 | Radeon Instinct MI100 |
| gfx90a | Radeon Instinct MI210/MI250 |
| gfx942 | Radeon Instinct MI300X/MI300A |
| gfx950 | Radeon Instinct MI350X |
| gfx1030 | Radeon PRO V620 |
| gfx1100 | Radeon PRO W7900 |
| gfx1101 | Radeon PRO W7700 |
| gfx1102 | Radeon RX 7600 |
| gfx1150 | Ryzen AI 9 HX 375 |
| gfx1151 | Ryzen AI Max+ 395 |
| gfx1200 | Radeon RX 9070 |
| gfx1201 | Radeon RX 9070 XT |
추가 도움이 필요한 경우 Discord에 문의하거나 이슈를 등록하세요.
GPU 선택
시스템에 여러 AMD GPU가 있는 경우 Ollama가 일부만 사용하도록 제한하려면 ROCR_VISIBLE_DEVICES를 쉼표로 구분된 GPU 목록으로 설정할 수 있습니다. rocminfo 명령으로 장치 목록을 확인할 수 있습니다. GPU를 무시하고 CPU 사용을 강제하려면 유효하지 않은 GPU ID(예: "-1")를 사용하세요. 가능한 경우 숫자 값 대신 Uuid를 사용하여 장치를 고유하게 식별하세요.
컨테이너 권한
일부 Linux 배포판에서는 SELinux가 컨테이너의 AMD GPU 장치 접근을 차단할 수 있습니다. 호스트 시스템에서 sudo setsebool container_use_devices=1 명령을 실행하여 컨테이너가 장치를 사용할 수 있도록 허용할 수 있습니다.
Metal (Apple GPUs)
Ollama는 Metal API를 통해 Apple 기기에서 GPU 가속을 지원합니다.
Vulkan GPU 지원
Windows 및 Linux에서 추가 GPU 지원은 Vulkan을 통해 제공됩니다. 백엔드가 설치되면 Vulkan이 기본으로 활성화됩니다. Windows에서는 대부분의 GPU 제조사 드라이버에 Vulkan 지원이 포함되어 있어 추가 설정이 필요하지 않습니다. 대부분의 Linux 배포판에서는 추가 구성 요소를 설치해야 하며, Mesa와 GPU 제조사별 패키지 간에 여러 Vulkan 드라이버 옵션이 있을 수 있습니다.
- Linux Intel GPU 설치 방법 - https://dgpu-docs.intel.com/driver/client/overview.html
- Linux AMD GPU 설치 방법 - https://amdgpu-install.readthedocs.io/en/latest/install-script.html#specifying-a-vulkan-implementation
일부 Linux 배포판의 AMD GPU의 경우 ollama 사용자를 render 그룹에 추가해야 할 수 있습니다.
Ollama 스케줄러는 GPU 라이브러리에서 보고된 사용 가능한 VRAM 데이터를 활용하여 최적의 스케줄링 결정을 내립니다. Vulkan은 이 사용 가능한 VRAM 데이터를 노출하려면 추가 기능이 필요하거나 루트 권한으로 실행해야 합니다. 루트 접근 권한이나 해당 기능이 부여되지 않으면 Ollama는 모델의 대략적인 크기를 사용하여 최선의 스케줄링 결정을 내립니다.
bash
sudo setcap cap_perfmon+ep /usr/local/bin/ollamaGPU 선택
FAQ에 설명된 대로 Ollama 서버에서 GGML_VK_VISIBLE_DEVICES 환경 변수를 하나 이상의 숫자 ID로 설정하여 특정 Vulkan GPU를 선택할 수 있습니다. Vulkan 기반 GPU에 문제가 발생하는 경우 OLLAMA_VULKAN=0 또는 GGML_VK_VISIBLE_DEVICES=-1을 설정하여 모든 Vulkan GPU를 비활성화할 수 있습니다.
Vulkan iGPU가 불안정한 혼합 iGPU/dGPU 시스템의 경우 Vulkan을 활성화한 상태로 GGML_VK_VISIBLE_DEVICES를 외장 GPU 인덱스로 설정하세요. 예를 들어 Vulkan1이 외장 GPU인 경우 GGML_VK_VISIBLE_DEVICES=1을 사용하세요.