Skip to content

Ollama 以原生 Windows 應用程式的形式運行,支援 NVIDIA 與 AMD Radeon GPU。安裝 Windows 版 Ollama 後,Ollama 會於背景執行,ollama 命令列可在 cmdpowershell 或您慣用的終端機應用程式中使用。如同往常,Ollama API 會於 http://localhost:11434 提供服務。

系統需求

  • Windows 10 22H2 或更新版本,家用版或專業版
  • 若使用 NVIDIA 顯示卡,需安裝 551.61 或更新版本的驅動程式
  • 若要使用 ROCm 加速,需安裝支援 ROCm v7 / HIP7 的 AMD 驅動程式堆疊;若要使用 Vulkan 加速,則需安裝支援 Vulkan 的 AMD Radeon 驅動程式

Ollama 使用 Unicode 字元顯示進度,在 Windows 10 部分較舊的終端機字型中可能顯示為未知方塊。若遇到此情況,請嘗試變更終端機的字型設定。

Note

部分 RDNA2 / Radeon RX 6000 系列系統(包含 RX 6800 等級的顯示卡)在目前 Windows 版的 AMD 驅動程式中可能無法啟用 ROCm v7。此類系統預設會啟用 Vulkan,且建議使用 Vulkan 作為備援方案。若混合 iGPU/dGPU 的系統選取了不穩定的 Vulkan iGPU,請將 GGML_VK_VISIBLE_DEVICES 設定為獨立顯示卡的索引。

檔案系統需求

Ollama 的安裝不需要管理員權限,預設會安裝在您的主目錄中。二進位檔安裝至少需要 4GB 的空間。安裝完成後,還需要額外空間儲存大型語言模型,模型大小可能從數十 GB 到數百 GB 不等。若您的主目錄空間不足,可以變更二進位檔與模型的儲存位置。

變更安裝位置

若要將 Ollama 應用程式安裝在主目錄以外的位置,請使用以下參數執行安裝程式

powershell
OllamaSetup.exe /DIR="d:\some\location"

變更模型儲存位置

若要變更 Ollama 儲存下載模型的預設位置(不使用主目錄),請在使用者帳戶中設定環境變數 OLLAMA_MODELS

  1. 開啟 Windows 11 的「設定」或 Windows 10 的「控制台」,搜尋「環境變數」。
  2. 點選「編輯您帳戶的環境變數」。
  3. 為您的使用者帳戶編輯或新增名為 OLLAMA_MODELS 的變數,將值設定為您想儲存模型的路徑
  4. 點選「確定」/「套用」儲存設定。

若 Ollama 正在執行,請先關閉系統匣中的應用程式,接著從「開始」選單重新啟動,或是開啟儲存環境變數後新建立的終端機視窗。

API 存取

以下是在 powershell 中存取 API 的快速範例

powershell
(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

疑難排解

Windows 版 Ollama 的檔案會儲存在數個不同位置。您可以按下 <Ctrl>+R 開啟執行視窗,輸入以下路徑來開啟檔案總管檢視:

  • explorer %LOCALAPPDATA%\Ollama:包含日誌與已下載的更新
    • app.log:包含圖形介面應用程式的最新日誌
    • server.log:包含最新的伺服器日誌
    • upgrade.log:包含升級過程的日誌輸出
  • explorer %LOCALAPPDATA%\Programs\Ollama:包含二進位檔(安裝程式會將此路徑加入使用者 PATH)
  • explorer %HOMEPATH%\.ollama:包含模型與設定檔
  • explorer %TEMP%:包含一個或多個 ollama* 目錄中的暫時執行檔

解除安裝

Ollama Windows 安裝程式會註冊解除安裝程式。您可以在 Windows 設定的「新增或移除程式」中解除安裝 Ollama。

Note

若您已變更模型儲存位置,安裝程式不會移除您下載的模型

獨立 CLI

在 Windows 上安裝 Ollama 最簡單的方式是使用 OllamaSetup.exe 安裝程式。它會安裝在您的帳戶中,不需要管理員權限。我們會定期更新 Ollama 以支援最新模型,此安裝程式能協助您保持版本為最新。

若您想將 Ollama 安裝為服務或整合到現有應用程式中,可下載獨立的 ollama-windows-amd64.zip 壓縮檔,其中僅包含 Ollama CLI 與 NVIDIA GPU 的函式庫相依套件。根據您的硬體配置,您可能還需要下載並解壓縮其他套件到相同目錄:

  • AMD GPUollama-windows-amd64-rocm.zip
  • MLX (CUDA)ollama-windows-amd64-mlx.zip

這能讓您將 Ollama 嵌入現有應用程式中,或透過 ollama serve 搭配 NSSM 等工具將其作為系統服務執行。

Note

若您是從舊版本升級,請先移除舊的目錄。