CPU uniquement

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

GPU Nvidia

Installez le NVIDIA Container Toolkit.

Installation avec Apt

1. Configurez le dépôt

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
       | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
       | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
       | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. Installez les paquets du NVIDIA Container Toolkit

   sudo apt-get install -y nvidia-container-toolkit

Installation avec Yum ou Dnf

1. Configurez le dépôt

   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
       | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2. Installez les paquets du NVIDIA Container Toolkit

   sudo yum install -y nvidia-container-toolkit

Configurez Docker pour utiliser le pilote Nvidia

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Démarrez le conteneur

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Note

Si vous exécutez le conteneur sur un système NVIDIA JetPack, Ollama ne peut pas détecter automatiquement la version de JetPack correspondante. Passez la variable d'environnement JETSON_JETPACK=5 ou JETSON_JETPACK=6 au conteneur pour sélectionner la version 5 ou 6.

GPU AMD

Pour exécuter Ollama avec Docker sur des GPU AMD, utilisez le tag rocm et la commande suivante :

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Prise en charge de Vulkan

Vulkan est intégré à l'image ollama/ollama et est activé par défaut lorsque le conteneur peut accéder aux périphériques GPU.

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Utilisez OLLAMA_VULKAN=0 pour désactiver Vulkan, ou GGML_VK_VISIBLE_DEVICES=<ids> pour sélectionner des périphériques Vulkan spécifiques.

Exécuter un modèle localement

Vous pouvez maintenant exécuter un modèle :

docker exec -it ollama ollama run llama3.2

Essayer d'autres modèles

Vous trouverez plus de modèles sur la bibliothèque Ollama.