Встановлення

Щоб встановити Ollama, виконайте наступну команду:

curl -fsSL https://ollama.com/install.sh | sh

Ручне встановлення

Примітка

Якщо ви оновлюєте з попередньої версії, спочатку видаліть старі бібліотеки за допомогою sudo rm -rf /usr/lib/ollama.

Завантажте та розпакуйте пакет:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Запустіть Ollama:

ollama serve

У іншому терміналі перевірте, що Ollama запущена:

ollama -v

Встановлення для AMD GPU

Якщо у вас є відеокарта AMD, також завантажте та розпакуйте додатковий пакет ROCm:

curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

Встановлення для ARM64

Завантажте та розпакуйте пакет, спеціально створений для ARM64:

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

Додавання Ollama як служби автозапуску (рекомендовано)

Створіть користувача та групу для Ollama:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

Створіть файл служби за шляхом /etc/systemd/system/ollama.service:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

Потім запустіть службу:

sudo systemctl daemon-reload
sudo systemctl enable ollama

Встановлення драйверів CUDA (необов'язково)

Завантажте та встановіть драйвери CUDA.

Перевірте, що драйвери встановлено, виконавши наступну команду, яка має вивести інформацію про вашу відеокарту:

nvidia-smi

Встановлення драйверів AMD ROCm (необов'язково)

Завантажте та встановіть ROCm версії 7.

Запуск Ollama

Запустіть Ollama та перевірте, що вона працює:

sudo systemctl start ollama
sudo systemctl status ollama

Примітка

Хоча AMD передала драйвер amdgpu до офіційного джерела ядра Linux, ця версія застаріла і може не підтримувати всі функції ROCm. Ми рекомендуємо встановити найновіший драйвер за адресою https://www.amd.com/en/support/linux-drivers для найкращої підтримки вашої відеокарти Radeon.

Налаштування

Щоб налаштувати встановлення Ollama, ви можете редагувати файл служби systemd або змінні середовища, виконавши команду:

sudo systemctl edit ollama

Або створіть файл перевизначення вручну за шляхом /etc/systemd/system/ollama.service.d/override.conf:

[Service]
Environment="OLLAMA_DEBUG=1"

Оновлення

Оновіть Ollama, повторно виконавши скрипт встановлення:

curl -fsSL https://ollama.com/install.sh | sh

Або повторно завантаживши Ollama:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Встановлення конкретних версій

Використовуйте змінну середовища OLLAMA_VERSION разом зі скриптом встановлення, щоб встановити конкретну версію Ollama, включаючи пререлізи. Номери версій ви можете знайти на сторінці релізів.

Наприклад:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

Перегляд логів

Щоб переглянути логи роботи Ollama як служби автозапуску, виконайте команду:

journalctl -e -u ollama

Видалення

Видаліть службу ollama:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Видаліть бібліотеки ollama з вашого каталогу lib (або /usr/local/lib, /usr/lib, або /lib):

sudo rm -r $(which ollama | tr 'bin' 'lib')

Видаліть виконуваний файл ollama з вашого каталогу bin (або /usr/local/bin, /usr/bin, або /bin):

sudo rm $(which ollama)

Видаліть завантажені моделі, а також користувача та групу служби Ollama:

sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama