Skip to content

安裝

要安裝 Ollama,請執行以下指令:

shell
curl -fsSL https://ollama.com/install.sh | sh

手動安裝

注意

如果您是從舊版本升級,請先使用 sudo rm -rf /usr/lib/ollama 指令移除舊版函式庫。

下載並解壓縮套件:

shell
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

啟動 Ollama:

shell
ollama serve

在另一個終端機中,執行以下指令驗證 Ollama 是否正常執行:

shell
ollama -v

AMD GPU 安裝

如果您有 AMD GPU,請另外下載並解壓縮額外的 ROCm 套件:

shell
curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

ARM64 安裝

下載並解壓縮專為 ARM64 設計的套件:

shell
curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

將 Ollama 加入為開機啟動服務(建議)

為 Ollama 建立使用者與群組:

shell
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

/etc/systemd/system/ollama.service 建立服務設定檔:

ini
[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

接著啟動服務:

shell
sudo systemctl daemon-reload
sudo systemctl enable ollama

安裝 CUDA 驅動程式(可選)

下載並安裝 CUDA。

執行以下指令驗證驅動程式是否安裝完成,執行後應該會顯示您 GPU 的相關資訊:

shell
nvidia-smi

安裝 AMD ROCm 驅動程式(可選)

下載並安裝 ROCm v7。

啟動 Ollama

啟動 Ollama 並驗證其是否正常執行:

shell
sudo systemctl start ollama
sudo systemctl status ollama

注意

雖然 AMD 已將 amdgpu 驅動程式貢獻至官方 Linux 核心原始碼,但該版本較舊,可能無法支援所有 ROCm 功能。我們建議您從 https://www.amd.com/en/support/linux-drivers 下載最新驅動程式,以獲得最佳的 Radeon GPU 支援。

自訂安裝

若要自訂 Ollama 的安裝方式,您可以編輯 systemd 服務設定檔或環境變數,執行以下指令即可:

shell
sudo systemctl edit ollama

或者,您可以手動在 /etc/systemd/system/ollama.service.d/override.conf 建立覆蓋設定檔:

ini
[Service]
Environment="OLLAMA_DEBUG=1"

更新

重新執行安裝指令即可更新 Ollama:

shell
curl -fsSL https://ollama.com/install.sh | sh

或者重新下載 Ollama 並覆蓋安裝:

shell
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

安裝特定版本

使用 OLLAMA_VERSION 環境變數搭配安裝指令,即可安裝特定版本的 Ollama(包含預發行版本)。您可以在發行版本頁面查詢對應版本號。

例如:

shell
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

查看日誌

若要查看以開機啟動服務運行的 Ollama 日誌,請執行以下指令:

shell
journalctl -e -u ollama

解除安裝

移除 Ollama 服務:

shell
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

從您的函式庫目錄(/usr/local/lib/usr/lib/lib)中移除 Ollama 函式庫:

shell
sudo rm -r $(which ollama | tr 'bin' 'lib')

從您的執行檔目錄(/usr/local/bin/usr/bin/bin)中移除 Ollama 執行檔:

shell
sudo rm $(which ollama)

移除已下載的模型,以及 Ollama 服務的使用者與群組:

shell
sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama