Bağlam uzunluğu, modelin bellekte erişebileceği maksimum token sayısıdır.

İpucu

Ollama, VRAM miktarına göre aşağıdaki varsayılan bağlam uzunluklarını kullanır: - < 24 GiB VRAM: 4k bağlam - 24-48 GiB VRAM: 32k bağlam - >= 48 GiB VRAM: 256k bağlam

Web araması, aracılar ve kodlama araçları gibi geniş bağlam gerektiren görevler en az 64000 token olarak ayarlanmalıdır.

Bağlam uzunluğunu ayarlama

Daha büyük bir bağlam uzunluğu ayarlamak, bir modeli çalıştırmak için gereken bellek miktarını artıracaktır. Bağlam uzunluğunu artırmak için yeterli VRAM'iniz olduğundan emin olun.

Bulut modelleri varsayılan olarak maksimum bağlam uzunluklarına ayarlanmıştır.

Uygulama

Ollama uygulaması ayarlar bölümündeki kaydırıcıyı istediğiniz bağlam uzunluğuna göre değiştirin.

CLI

Ollama için bağlam uzunluğunu düzenleme mümkün değilse, bağlam uzunluğu Ollama'yi sunarken de güncellenebilir.

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Ayrılmış bağlam uzunluğunu ve modelin CPU'ya aktarılmasını kontrol etme

En iyi performans için, bir model için maksimum bağlam uzunluğunu kullanın ve modelin CPU'ya aktarılmasından kaçının. ollama ps komutunu kullanarak PROCESSOR altındaki dağılımı doğrulayın.

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now