Cài đặt

Để cài đặt Ollama, hãy chạy lệnh sau:

curl -fsSL https://ollama.com/install.sh | sh

Cài đặt thủ công

Lưu ý

Nếu bạn đang nâng cấp từ phiên bản trước, bạn nên xóa các thư viện cũ bằng sudo rm -rf /usr/lib/ollama trước.

Tải xuống và giải nén gói cài đặt:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Khởi chạy Ollama:

ollama serve

Trong một terminal khác, xác minh rằng Ollama đang chạy:

ollama -v

Cài đặt GPU AMD

Nếu bạn có GPU AMD, hãy cũng tải xuống và giải nén gói ROCm bổ sung:

curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

Cài đặt ARM64

Tải xuống và giải nén gói cài đặt dành riêng cho ARM64:

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

Thêm Ollama làm dịch vụ khởi động cùng hệ thống (khuyến nghị)

Tạo người dùng và nhóm cho Ollama:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

Tạo tệp dịch vụ tại /etc/systemd/system/ollama.service:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

Sau đó khởi chạy dịch vụ:

sudo systemctl daemon-reload
sudo systemctl enable ollama

Cài đặt trình điều khiển CUDA (tùy chọn)

Tải xuống và cài đặt CUDA.

Xác minh rằng trình điều khiển đã được cài đặt bằng cách chạy lệnh sau, lệnh này sẽ in ra thông tin chi tiết về GPU của bạn:

nvidia-smi

Cài đặt trình điều khiển AMD ROCm (tùy chọn)

Tải xuống và cài đặt ROCm v7.

Khởi chạy Ollama

Khởi chạy Ollama và xác minh rằng nó đang hoạt động:

sudo systemctl start ollama
sudo systemctl status ollama

Lưu ý

Mặc dù AMD đã đóng góp trình điều khiển amdgpu vào nhánh chính của mã nguồn nhân Linux chính thức, phiên bản này đã cũ và có thể không hỗ trợ tất cả các tính năng của ROCm. Chúng tôi khuyến nghị bạn cài đặt trình điều khiển mới nhất từ https://www.amd.com/en/support/linux-drivers để có hỗ trợ tốt nhất cho GPU Radeon của bạn.

Tùy chỉnh

Để tùy chỉnh cài đặt Ollama, bạn có thể chỉnh sửa tệp dịch vụ systemd hoặc các biến môi trường bằng cách chạy lệnh:

sudo systemctl edit ollama

Hoặc, tạo một tệp ghi đè thủ công tại /etc/systemd/system/ollama.service.d/override.conf:

[Service]
Environment="OLLAMA_DEBUG=1"

Cập nhật

Cập nhật Ollama bằng cách chạy lại tập lệnh cài đặt:

curl -fsSL https://ollama.com/install.sh | sh

Hoặc bằng cách tải xuống lại Ollama:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Cài đặt phiên bản cụ thể

Sử dụng biến môi trường OLLAMA_VERSION với tập lệnh cài đặt để cài đặt một phiên bản cụ thể của Ollama, bao gồm cả các bản phát hành trước. Bạn có thể tìm thấy số phiên bản trên trang phát hành.

Ví dụ:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

Xem nhật ký

Để xem nhật ký của Ollama chạy dưới dạng dịch vụ khởi động cùng hệ thống, hãy chạy lệnh:

journalctl -e -u ollama

Gỡ cài đặt

Xóa dịch vụ ollama:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Xóa các thư viện ollama khỏi thư mục lib của bạn (có thể là /usr/local/lib, /usr/lib hoặc /lib):

sudo rm -r $(which ollama | tr 'bin' 'lib')

Xóa tệp nhị phân ollama khỏi thư mục bin của bạn (có thể là /usr/local/bin, /usr/bin hoặc /bin):

sudo rm $(which ollama)

Xóa các mô hình đã tải xuống, người dùng và nhóm dịch vụ Ollama:

sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama