Ollama chạy dưới dạng ứng dụng native cho Windows, bao gồm hỗ trợ GPU NVIDIA và AMD Radeon. Sau khi cài đặt Ollama cho Windows, Ollama sẽ chạy ngầm và dòng lệnh ollama có sẵn trong cmd, powershell hoặc ứng dụng terminal yêu thích của bạn. Như thông thường, API Ollama API sẽ được cung cấp tại http://localhost:11434.

Yêu cầu hệ thống

• Windows 10 22H2 trở lên, phiên bản Home hoặc Pro
• Driver NVIDIA 551.61 trở lên nếu bạn có card NVIDIA
• Bộ driver hỗ trợ AMD ROCm v7 / HIP7 để tăng tốc ROCm, hoặc driver AMD Radeon hỗ trợ Vulkan để tăng tốc Vulkan

Ollama sử dụng ký tự unicode để hiển thị tiến trình, có thể hiển thị dưới dạng hình vuông không xác định trong một số phông terminal cũ trên Windows 10. Nếu bạn gặp tình trạng này, hãy thử thay đổi cài đặt phông terminal của bạn.

Lưu ý

Một số hệ thống RDNA2 / Radeon RX 6000, bao gồm các card dòng RX 6800, có thể không hỗ trợ ROCm v7 trên driver AMD Windows hiện tại. Vulkan được bật theo mặc định và là phương án dự phòng được khuyến nghị cho các hệ thống này. Nếu hệ thống hỗn hợp iGPU/dGPU của bạn chọn iGPU Vulkan không ổn định, hãy đặt biến môi trường GGML_VK_VISIBLE_DEVICES thành chỉ số của GPU rời.

Yêu cầu về hệ thống tệp

Bộ cài đặt Ollama không yêu cầu quyền Administrator, và mặc định sẽ cài đặt vào thư mục home của bạn. Bạn cần ít nhất 4GB dung lượng để cài đặt bộ nhị phân. Sau khi cài đặt xong Ollama, bạn sẽ cần thêm dung lượng để lưu trữ các mô hình ngôn ngữ lớn, có kích thước từ hàng chục đến hàng trăm GB. Nếu thư mục home của bạn không đủ dung lượng, bạn có thể thay đổi vị trí cài đặt bộ nhị phân và vị trí lưu trữ mô hình.

Thay đổi vị trí cài đặt

Để cài đặt ứng dụng Ollama vào vị trí khác với thư mục home của bạn, hãy chạy trình cài đặt với cờ sau

OllamaSetup.exe /DIR="d:\some\location"

Thay đổi vị trí lưu trữ mô hình

Để thay đổi vị trí lưu trữ mô hình đã tải xuống của Ollama thay vì sử dụng thư mục home của bạn, hãy đặt biến môi trường OLLAMA_MODELS trong tài khoản người dùng của bạn.

1. Mở ứng dụng Cài đặt (Windows 11) hoặc Control Panel (Windows 10) và tìm kiếm biến môi trường.

2. Nhấp vào Chỉnh sửa biến môi trường cho tài khoản của bạn.

3. Chỉnh sửa hoặc tạo biến mới cho tài khoản người dùng của bạn với tên OLLAMA_MODELS, đặt giá trị là đường dẫn đến vị trí bạn muốn lưu trữ mô hình

4. Nhấp OK/Apply để lưu thay đổi.

Nếu Ollama đang chạy, hãy thoát ứng dụng trên khay hệ thống và khởi động lại từ menu Start, hoặc từ một terminal mới được mở sau khi bạn lưu các biến môi trường.

Truy cập API

Dưới đây là ví dụ nhanh về cách truy cập API từ powershell

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Xử lý sự cố

Ollama trên Windows lưu trữ tệp ở một số vị trí khác nhau. Bạn có thể xem các vị trí này trong cửa sổ explorer bằng cách nhấn <Ctrl>+R và nhập:

• explorer %LOCALAPPDATA%\Ollama chứa nhật ký và các bản cập nhật đã tải xuống
  • app.log chứa các nhật ký mới nhất từ ứng dụng GUI
  • server.log chứa các nhật ký mới nhất của máy chủ
  • upgrade.log chứa nhật ký của các quá trình nâng cấp
• explorer %LOCALAPPDATA%\Programs\Ollama chứa các bộ nhị phân (Trình cài đặt sẽ thêm đường dẫn này vào PATH của người dùng)
• explorer %HOMEPATH%\.ollama chứa các mô hình và tệp cấu hình
• explorer %TEMP% chứa các tệp thực thi tạm thời nằm trong một hoặc nhiều thư mục ollama*

Gỡ cài đặt

Trình cài đặt Ollama cho Windows sẽ đăng ký ứng dụng Gỡ cài đặt. Bạn có thể gỡ cài đặt Ollama trong mục Thêm hoặc xóa chương trình trong Cài đặt Windows.

Lưu ý

Nếu bạn đã thay đổi vị trí lưu trữ OLLAMA_MODELS, trình cài đặt sẽ không xóa các mô hình bạn đã tải xuống.

CLI độc lập

Cách dễ nhất để cài đặt Ollama trên Windows là sử dụng trình cài đặt OllamaSetup.exe. Trình cài đặt sẽ cài đặt vào tài khoản của bạn mà không yêu cầu quyền Administrator. Chúng tôi cập nhật Ollama thường xuyên để hỗ trợ các mô hình mới nhất, và trình cài đặt này sẽ giúp bạn luôn cập nhật phiên bản mới nhất.

Nếu bạn muốn cài đặt hoặc tích hợp Ollama dưới dạng dịch vụ, bạn có thể sử dụng tệp zip độc lập ollama-windows-amd64.zip chỉ chứa CLI Ollama và các thư viện phụ thuộc GPU cho Nvidia. Tùy thuộc vào phần cứng của bạn, bạn có thể cần tải xuống và giải nén thêm các gói khác vào cùng thư mục:

• AMD GPU: ollama-windows-amd64-rocm.zip
• MLX (CUDA): ollama-windows-amd64-mlx.zip

Điều này cho phép bạn tích hợp Ollama vào các ứng dụng hiện có, hoặc chạy nó dưới dạng dịch vụ hệ thống thông qua lệnh ollama serve với các công cụ như NSSM.

Lưu ý

Nếu bạn đang nâng cấp từ phiên bản trước, bạn nên xóa các thư mục cũ trước.

Wait wait, earlier I thought about the "Add or remove programs" – wait the original has it in backticks, which means it's a UI label, but is it a technical identifier? Let's check the rule again: "Do NOT translate: Code examples, variable names, function names, CLI commands, file paths, URLs, and technical identifiers." So "Add or remove programs" is a UI element name, not in that list, so translating it is okay. But wait, if the user is used to the English name, but no, the task is to translate to Vietnamese, so it's correct. Alternatively, we can keep it as Add or remove programs? Wait but let's see: the original has it in backticks, so if we translate it, it's Thêm hoặc xóa chương trình, which is the correct Vietnamese name for that Windows settings page, so that's better for Vietnamese users. That's okay.

Another check: the term "tray application" is translated to "ứng dụng trên khay hệ thống", which is the correct term in Vietnamese for system tray apps, right? Yes, that's natural.

"discrete GPU" is translated to "GPU rời", which is the correct term, yes.

"binary install" → "cài đặt bộ nhị phân", correct.

"Large Language models" → "cô mô hình ngôn ngữ lớn", which is the standard translation in Vietnamese tech communities, correct.

"environment variable" → "biến môi trường", correct, standard term.

"logs" → "nhật ký", correct, standard term for log files.

"upgrades" → "nâng cấp", correct.

"uninstaller" → "gỡ cài đặt", correct.

"standalone CLI" → "CLI độc lập", correct.

"system service" → "dịch vụ hệ thống", correct.

All right, this should be correct. Let's make sure there are no typos, no missing parts, all formatting is preserved. Yep, that's it.