Довжина контексту — це максимальна кількість токенів, до яких модель має доступ у пам'яті.

Примітка

Ollama за замовчуванням використововує наступні довжини контексту залежно від обсягу VRAM: - < 24 ГіБ VRAM: контекст 4k - 24–48 ГіБ VRAM: контекст 32k - ≥ 48 ГіБ VRAM: контекст 256k

Задачі, які вимагають великого контексту, наприклад вебпошук, агенти та інструменти для програмування, слід налаштовувати на щонайменше 64000 токенів.

Налаштування довжини контексту

Встановлення більшої довжини контексту збільшить обсяг пам'яті, необхідний для запуску моделі. Переконайтеся, що у вас достатньо доступної VRAM, щоб збільшити довжину контексту.

Хмарні моделі за замовчуванням налаштовані на максимальну довжину контексту.

Додаток

Змініть повзунок у додатку Ollama в розділі налаштувань на бажану довжину контексту.

CLI

Якщо редагування довжини контексту для Ollama неможливе, її також можна оновити під час запуску сервера Ollama.

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

Перевірка виділеної довжини контексту та вивантаження моделі

Для найкращої продуктивності використовуйте максимальну довжину контексту для моделі та уникайте вивантаження моделі на CPU. Перевірте розподіл у стовпці PROCESSOR за допомогою команди ollama ps.

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now