Sadece CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Nvidia GPU

NVIDIA Container Toolkit'ı buradan yükleyin.

Apt ile Yükleme

1. Depoyu yapılandır

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
       | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
       | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
       | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. NVIDIA Container Toolkit paketlerini yükleyin

   sudo apt-get install -y nvidia-container-toolkit

Yum veya Dnf ile Yükleme

1. Depoyu yapılandır

   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
       | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2. NVIDIA Container Toolkit paketlerini yükleyin

   sudo yum install -y nvidia-container-toolkit

Docker'ı Nvidia sürücüsü kullanacak şekilde yapılandır

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Konteyneri başlat

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Not

Eğer bir NVIDIA JetPack sisteminde çalışıyorsanız, Ollama otomatik olarak doğru JetPack sürümünü bulamaz. Sürüm 5 veya 6'yı seçmek için konteynere JETSON_JETPACK=5 veya JETSON_JETPACK=6 ortam değişkenini iletin.

AMD GPU

AMD GPU'lar ile Docker kullanarak Ollama çalıştırmak için rocm etiketini ve aşağıdaki komutu kullanın:

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Vulkan Desteği

Vulkan, ollama/ollama imajına dahil edilmiştir ve konteyner GPU cihazlarına erişebildiğinde varsayılan olarak etkinleştirilir.

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Vulkan'ı devre dışı bırakmak için OLLAMA_VULKAN=0, belirli Vulkan cihazlarını seçmek için ise GGML_VK_VISIBLE_DEVICES=<ids> kullanın.

Modeli yerel olarak çalıştır

Artık bir model çalıştırabilirsiniz:

docker exec -it ollama ollama run llama3.2

Farklı modelleri deneyin

Daha fazla model Ollama kütüphanesinde bulunabilir.