स्थापना

Ollama को स्थापित करने के लिए, निम्नलिखित कमांड चलाएं:

curl -fsSL https://ollama.com/install.sh | sh

मैन्युअल स्थापना

नोट

यदि आप पूर्व संस्करण से अपग्रेड कर रहे हैं, तो आपको पहले sudo rm -rf /usr/lib/ollama के साथ पुरानी लाइब्रेरी को हटा देना चाहिए।

पैकेज को डाउनलोड करें और एक्सट्रैक्ट करें:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Ollama को शुरू करें:

ollama serve

दूसरे टर्मिनल में, यह सत्यापित करें कि Ollama चल रहा है:

ollama -v

AMD GPU स्थापना

यदि आपके पास AMD GPU है, तो अतिरिक्त ROCm पैकेज को भी डाउनलोड करें और एक्सट्रैक्ट करें:

curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

ARM64 स्थापना

ARM64-विशिष्ट पैकेज को डाउनलोड करें और एक्सट्रैक्ट करें:

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

Ollama को स्टार्टअप सर्विस के रूप में जोड़ना (अनुशंसित)

Ollama के लिए एक उपयोगकर्ता और समूह बनाएं:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

/etc/systemd/system/ollama.service में एक सर्विस फ़ाइल बनाएं:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

फिर सर्विस को शुरू करें:

sudo systemctl daemon-reload
sudo systemctl enable ollama

CUDA ड्राइवर स्थापित करें (वैकल्पिक)

डाउनलोड और स्थापित करें CUDA।

निम्नलिखित कमांड चलाकर सत्यापित करें कि ड्राइवर स्थापित हैं, जो आपके GPU के बारे में विवरण प्रिंट करना चाहिए:

nvidia-smi

AMD ROCm ड्राइवर स्थापित करें (वैकल्पिक)

डाउनलोड और स्थापित करें ROCm v7।

Ollama शुरू करें

Ollama को शुरू करें और सत्यापित करें कि यह चल रहा है:

sudo systemctl start ollama
sudo systemctl status ollama

नोट

जबकि AMD ने आधिकारिक लिनक्स कर्नल सोर्स में amdgpu ड्राइवर को अपस्ट्रीम में योगदान दिया है, लेकिन यह संस्करण पुराना है और शायद सभी ROCm सुविधाओं का समर्थन नहीं करता है। हम आपको अपने Radeon GPU के लिए सबसे अच्छा समर्थन पाने के लिए https://www.amd.com/en/support/linux-drivers से नवीनतम ड्राइवर स्थापित करने की सलाह देते हैं।

अनुकूलन

Ollama की स्थापना को अनुकूलित करने के लिए, आप निम्नलिखित चलाकर systemd सर्विस फ़ाइल या पर्यावरण चर को संपादित कर सकते हैं:

sudo systemctl edit ollama

वैकल्पिक रूप से, /etc/systemd/system/ollama.service.d/override.conf में मैन्युअल रूप से एक ओवरराइड फ़ाइल बनाएं:

[Service]
Environment="OLLAMA_DEBUG=1"

अपडेट करना

इंस्टॉल स्क्रिप्ट को फिर से चलाकर Ollama को अपडेट करें:

curl -fsSL https://ollama.com/install.sh | sh

या Ollama को फिर से डाउनलोड करके:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

विशिष्ट संस्करण स्थापित करना

किसी विशिष्ट Ollama संस्करण, जिसमें पूर्व-रिलीज़ भी शामिल हैं, को स्थापित करने के लिए इंस्टॉल स्क्रिप्ट के साथ OLLAMA_VERSION पर्यावरण चर का उपयोग करें। आप संस्करण नंबर को रिलीज पेज पर पा सकते हैं।

उदाहरण के लिए:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

लॉग देखना

स्टार्टअप सर्विस के रूप में चल रहे Ollama के लॉग को देखने के लिए, निम्नलिखित चलाएं:

journalctl -e -u ollama

अनइंस्टॉल

Ollama सर्विस को हटाएं:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

अपने लिब डिरेक्ट्री से Ollama लाइब्रेरी को हटाएं (या तो /usr/local/lib, /usr/lib, या /lib):

sudo rm -r $(which ollama | tr 'bin' 'lib')

अपने बिन डिरेक्ट्री से Ollama बाइनरी को हटाएं (या तो /usr/local/bin, /usr/bin, या /bin):

sudo rm $(which ollama)

डाउनलोड की गई मॉडल और Ollama सर्विस उपयोगकर्ता और समूह को हटाएं:

sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama