Độ dài ngữ cảnh là số lượng token tối đa mà mô hình có thể truy cập trong bộ nhớ.

Lưu ý

Ollama mặc định sử dụng các độ dài ngữ cảnh sau dựa trên dung lượng VRAM: - < 24 GiB VRAM: ngữ cảnh 4k - 24-48 GiB VRAM: ngữ cảnh 32k - >= 48 GiB VRAM: ngữ cảnh 256k

Các tác vụ yêu cầu ngữ cảnh lớn như tìm kiếm web, agents và công cụ lập trình nên được đặt thành ít nhất 64000 token.

Thiết lập độ dài ngữ cảnh

Việc thiết lập độ dài ngữ cảnh lớn hơn sẽ làm tăng lượng bộ nhớ cần thiết để chạy mô hình. Đảm bảo bạn có đủ dung lượng VRAM khả dụng để tăng độ dài ngữ cảnh.

Các mô hình đám mây được đặt ở độ dài ngữ cảnh tối đa theo mặc định.

Ứng dụng

Thay đổi thanh trượt trong ứng dụng Ollama ở phần cài đặt thành độ dài ngữ cảnh mong muốn của bạn.

CLI

Nếu không thể chỉnh sửa độ dài ngữ cảnh cho Ollama, bạn cũng có thể cập nhật độ dài ngữ cảnh khi khởi chạy Ollama.

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Kiểm tra độ dài ngữ cảnh được phân bổ và tải mô hình ra CPU

Để đạt hiệu suất tốt nhất, hãy sử dụng độ dài ngữ cảnh tối đa cho mô hình và tránh tải mô hình ra CPU. Kiểm tra phân chia dưới mục PROCESSOR bằng lệnh ollama ps.

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now