केवल CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

एनविडिया GPU

इंस्टॉल करें NVIDIA Container Toolkit।

Apt के साथ इंस्टॉल करें

1. रिपोजिटरी कॉन्फ़िगर करें

   curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
       | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
       | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
       | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
   sudo apt-get update

2. NVIDIA Container Toolkit पैकेजेस इंस्टॉल करें

   sudo apt-get install -y nvidia-container-toolkit

Yum या Dnf के साथ इंस्टॉल करें

1. रिपोजिटरी कॉन्फ़िगर करें

   curl -fsSL https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
       | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2. NVIDIA Container Toolkit पैकेजेस इंस्टॉल करें

   sudo yum install -y nvidia-container-toolkit

Nvidia ड्राइवर का उपयोग करने के लिए Docker कॉन्फ़िगर करें

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

कंटेनर शुरू करें

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

नोट

यदि आप एनविडिया JetPack सिस्टम पर चल रहे हैं, तो Ollama स्वचालित रूप से सही JetPack संस्करण खोज नहीं पा रहा है। संस्करण 5 या 6 चुनने के लिए कंटेनर को पर्यावरण चर JETSON_JETPACK=5 या JETSON_JETPACK=6 पास करें।

AMD GPU

AMD GPU के साथ Docker का उपयोग करते हुए Ollama चलाने के लिए, rocm टैग और निम्नलिखित कमांड का उपयोग करें:

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

Vulkan समर्थन

Vulkan ollama/ollama इमेज में बंडल किया गया है और जब कंटेनर GPU डिवाइसेस तक पहुंच प्राप्त कर सकता है, तो यह डिफॉल्ट रूप से सक्षम होता है।

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Vulkan को अक्षम करने के लिए OLLAMA_VULKAN=0 का उपयोग करें, या विशिष्ट Vulkan डिवाइसेस चुनने के लिए GGML_VK_VISIBLE_DEVICES=<ids> का उपयोग करें।

मॉडल को स्थानीय रूप से चलाएं

अब आप कोई भी मॉडल चला सकते हैं:

docker exec -it ollama ollama run llama3.2

विभिन्न मॉडल्स आजमाएं

अधिक मॉडल्स Ollama library पर पाए जा सकते हैं।