La lunghezza del contesto è il numero massimo di token a cui il modello ha accesso in memoria.

Nota

Ollama imposta per impostazione predefinita le seguenti lunghezze di contesto in base alla VRAM: - < 24 GiB VRAM: contesto da 4k - 24-48 GiB VRAM: contesto da 32k - ≥ 48 GiB VRAM: contesto da 256k

Le attività che richiedono un contesto ampio, come la ricerca web, gli agenti e gli strumenti di programmazione, devono essere impostate ad almeno 64000 token.

Impostazione della lunghezza del contesto

Impostare una lunghezza di contesto maggiore aumenterà la quantità di memoria necessaria per eseguire un modello. Assicurati di disporre di sufficiente VRAM disponibile per aumentare la lunghezza del contesto.

I modelli cloud sono impostati per impostazione predefinita alla loro lunghezza di contesto massima.

App

Modifica il cursore nell'app di Ollama nella sezione delle impostazioni per impostare la lunghezza di contesto desiderata.

CLI

Se non è possibile modificare la lunghezza di contesto di Ollama, è possibile aggiornarla anche durante l'avvio del servizio Ollama.

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Verifica della lunghezza di contesto allocata e dell'offloading del modello

Per prestazioni ottimali, utilizza la lunghezza di contesto massima per un modello ed evita l'offloading del modello sulla CPU. Verifica la ripartizione sotto PROCESSOR utilizzando ollama ps.

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now