Ollama 作为原生 Windows 应用程序运行,包括对 NVIDIA 和 AMD Radeon GPU 的支持。 安装适用于 Windows 的 Ollama 后,Ollama 将在后台运行,并且 ollama 命令行可在 cmd、powershell 或您喜欢的终端应用程序中使用。与往常一样,Ollama API 将在 http://localhost:11434 上提供服务。
系统要求
- Windows 10 22H2 或更高版本,家庭版或专业版
- 如果您有 NVIDIA 显卡,则需要 551.61 或更新版本的 NVIDIA 驱动程序
- 用于 ROCm 加速的 AMD ROCm v7 / 支持 HIP7 的驱动程序栈,或用于 Vulkan 加速的支持 Vulkan 的 AMD Radeon 驱动程序
Ollama 使用 unicode 字符来指示进度,在 Windows 10 的一些较旧终端字体中,这些字符可能会显示为未知方块。如果您看到这种情况,请尝试更改终端字体设置。
注意
某些 RDNA2 / Radeon RX 6000 系列系统(包括 RX 6800 级别显卡)在当前 Windows AMD 驱动程序上可能无法暴露 ROCm v7。Vulkan 默认已启用,是这些系统的推荐后备方案。如果混合 iGPU/dGPU 系统选择了不稳定的 Vulkan iGPU,请将 GGML_VK_VISIBLE_DEVICES 设置为独立 GPU 的索引。
文件系统要求
安装 Ollama 不需要管理员权限,默认情况下会安装到您的主目录中。二进制安装至少需要 4GB 的空间。安装 Ollama 后,您将需要额外的空间来存储大语言模型,这些模型的大小可能达到数十到数百 GB。如果您的主目录空间不足,您可以更改二进制文件的安装位置以及模型的存储位置。
更改安装位置
要将 Ollama 应用程序安装在主目录以外的位置,请使用以下标志启动安装程序
powershell
OllamaSetup.exe /DIR="d:\some\location"更改模型位置
要更改 Ollama 存储下载模型的位置(而非使用您的主目录),请在您的用户账户中设置环境变量 OLLAMA_MODELS。
启动“设置”(Windows 11)或“控制面板”(Windows 10)应用程序,并搜索_环境变量_。
点击_编辑您的账户的环境变量_。
为您希望存储模型的
OLLAMA_MODELS编辑或创建一个新用户账户变量点击“确定”/“应用”进行保存。
如果 Ollama 已在运行,请退出托盘应用程序,然后从“开始”菜单重新启动它,或者在保存环境变量后启动一个新的终端。
API 访问
以下是从 powershell 访问 API 的快速示例
powershell
(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json故障排除
Windows 上的 Ollama 将文件存储在几个不同的位置。您可以通过按 <Ctrl>+R 并在资源管理器窗口中输入以下内容来查看它们:
explorer %LOCALAPPDATA%\Ollama包含日志和下载的更新- app.log 包含 GUI 应用程序的最新日志
- server.log 包含最新的服务器日志
- upgrade.log 包含升级的日志输出
explorer %LOCALAPPDATA%\Programs\Ollama包含二进制文件(安装程序会将其添加到您的用户 PATH 中)explorer %HOMEPATH%\.ollama包含模型和配置explorer %TEMP%包含一个或多个ollama*目录中的临时可执行文件
卸载
Windows 的 Ollama 安装程序会注册一个卸载程序。在 Windows 设置的添加或删除程序中,您可以卸载 Ollama。
注意
如果您更改了 OLLAMA_MODELS 位置,安装程序将不会删除您下载的模型
独立 CLI
在 Windows 上安装 Ollama 最简单的方法是使用 OllamaSetup.exe 安装程序。它会在您的账户中安装,不需要管理员权限。我们会定期更新 Ollama 以支持最新的模型,此安装程序将帮助您保持最新版本。
如果您想将 Ollama 作为服务安装或集成,可以使用独立的 ollama-windows-amd64.zip 压缩文件,其中仅包含 Ollama CLI 和 Nvidia 的 GPU 库依赖项。根据您的硬件,您可能还需要下载并解压其他附加包到同一目录中:
- AMD GPU:
ollama-windows-amd64-rocm.zip - MLX (CUDA):
ollama-windows-amd64-mlx.zip
这允许将 Ollama 嵌入到现有应用程序中,或者通过 ollama serve 使用 NSSM 等工具将其作为系统服务运行。
注意
如果您要从以前的版本升级,应该先删除旧目录。