Hanya CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

GPU Nvidia

Instal NVIDIA Container Toolkit.

Instal dengan Apt

1. Konfigurasikan repositori

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
       | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
       | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
       | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. Instal paket-paket NVIDIA Container Toolkit

   sudo apt-get install -y nvidia-container-toolkit

Instal dengan Yum atau Dnf

1. Konfigurasikan repositori

   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
       | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2. Instal paket-paket NVIDIA Container Toolkit

   sudo yum install -y nvidia-container-toolkit

Konfigurasikan Docker untuk menggunakan driver Nvidia

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Jalankan kontainer

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Catatan

Jika Anda menjalankannya pada sistem NVIDIA JetPack, Ollama tidak dapat secara otomatis mendeteksi versi JetPack yang benar. Sertakan variabel lingkungan JETSON_JETPACK=5 atau JETSON_JETPACK=6 ke dalam kontainer untuk memilih versi 5 atau 6.

GPU AMD

Untuk menjalankan Ollama menggunakan Docker dengan GPU AMD, gunakan tag rocm dan perintah berikut:

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Dukungan Vulkan

Vulkan sudah disertakan dalam gambar ollama/ollama dan diaktifkan secara default ketika kontainer dapat mengakses perangkat GPU.

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Gunakan OLLAMA_VULKAN=0 untuk menonaktifkan Vulkan, atau GGML_VK_VISIBLE_DEVICES=<ids> untuk memilih perangkat Vulkan tertentu.

Jalankan model secara lokal

Sekarang Anda dapat menjalankan sebuah model:

docker exec -it ollama ollama run llama3.2

Coba model lain

Lebih banyak model dapat ditemukan di Ollama Library.