CPU 전용

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

NVIDIA Container Toolkit을 설치합니다.

Apt로 설치하기

1. 저장소를 구성합니다.

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
       | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
       | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
       | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. NVIDIA Container Toolkit 패키지를 설치합니다.

   sudo apt-get install -y nvidia-container-toolkit

Yum 또는 Dnf로 설치하기

1. 저장소를 구성합니다.

   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
       | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2. NVIDIA Container Toolkit 패키지를 설치합니다.

   sudo yum install -y nvidia-container-toolkit

Docker가 Nvidia 드라이버를 사용하도록 구성하기

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

컨테이너 시작하기

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

참고

NVIDIA JetPack 시스템에서 실행 중인 경우, Ollama가 자동으로 올바른 JetPack 버전을 감지할 수 없습니다. 컨테이너에 환경 변수 JETSON_JETPACK=5 또는 JETSON_JETPACK=6를 전달하여 버전 5 또는 6을 선택하세요.

AMD GPU

Docker와 AMD GPU를 사용하여 Ollama를 실행하려면 rocm 태그와 다음 명령을 사용하세요:

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Vulkan 지원

Vulkan은 ollama/ollama 이미지에 번들로 포함되어 있으며, 컨테이너가 GPU 장치에 접근할 수 있는 경우 기본으로 활성화됩니다.

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

OLLAMA_VULKAN=0을 사용하여 Vulkan을 비활성화하거나, GGML_VK_VISIBLE_DEVICES=<ids>를 사용하여 특정 Vulkan 장치를 선택할 수 있습니다.

로컬에서 모델 실행하기

이제 모델을 실행할 수 있습니다:

docker exec -it ollama ollama run llama3.2

다른 모델 시도하기

더 많은 모델은 Ollama 라이브러리에서 확인할 수 있습니다.