Tylko CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

GPU Nvidii

Zainstaluj NVIDIA Container Toolkit.

Instalacja za pomocą Apt

1. Skonfiguruj repozytorium

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
       | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
       | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
       | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. Zainstaluj pakiety NVIDIA Container Toolkit

   sudo apt-get install -y nvidia-container-toolkit

Instalacja za pomocą Yum lub Dnf

1. Skonfiguruj repozytorium

   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
       | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2. Zainstaluj pakiety NVIDIA Container Toolkit

   sudo yum install -y nvidia-container-toolkit

Skonfiguruj Dockera do użycia sterownika Nvidii

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Uruchom kontener

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Uwaga

Jeśli korzystasz z systemu NVIDIA JetPack, Ollama nie może automatycznie wykryć poprawnej wersji JetPack. Przekaż zmienną środowiskową JETSON_JETPACK=5 lub JETSON_JETPACK=6 do kontenera, aby wybrać wersję 5 lub 6.

GPU AMD

Aby uruchomić Ollama za pomocą Dockera z GPU AMD, użyj tagu rocm i poniższego polecenia:

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Obsługa Vulkan

Vulkan jest dołączony do obrazu ollama/ollama i jest domyślnie włączony, gdy kontener ma dostęp do urządzeń GPU.

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Użyj OLLAMA_VULKAN=0, aby wyłączyć Vulkan, lub GGML_VK_VISIBLE_DEVICES=<ids>, aby wybrać konkretne urządzenia Vulkan.

Uruchom model lokalnie

Teraz możesz uruchomić model:

docker exec -it ollama ollama run llama3.2

Wypróbuj inne modele

Więcej modeli można znaleźć w Bibliotece Ollama.