上下文長度是模型在記憶體中可存取的最大 token 數量。

注意

Ollama 根據 VRAM 預設為以下上下文長度： - < 24 GiB VRAM：4k 上下文 - 24-48 GiB VRAM：32k 上下文 - >= 48 GiB VRAM：256k 上下文

需要大量上下文的任務，如網頁搜尋、代理和程式碼工具，應設定為至少 64000 個 token。

設定上下文長度

設定較大的上下文長度會增加執行模型所需的記憶體量。請確保有足夠的 VRAM 可用以增加上下文長度。

雲端模型預設為最大上下文長度。

應用程式

在 Ollama 應用程式的設定中，將滑桿變更為您想要的上下文長度。

CLI

如果無法編輯 Ollama 的上下文長度，也可以在運行 Ollama 時更新上下文長度。

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

檢查配置的上下文長度與模型卸載

為了獲得最佳效能，請使用模型的最大上下文長度，並避免將模型卸載至 CPU。使用 ollama ps 驗證 PROCESSOR 下的分配情況。

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now