संदर्भ लंबाई वह अधिकतम टोकन संख्या है जिस तक मॉडल को मेमोरी में पहुंचने की अनुमति होती है।

नोट

ओलामा VRAM के आधार पर निम्नलिखित संदर्भ लंबाई को डिफ़ॉल्ट रूप से सेट करता है: - < 24 GiB VRAM: 4k संदर्भ - 24-48 GiB VRAM: 32k संदर्भ - >= 48 GiB VRAM: 256k संदर्भ

वेब सर्च, एजेंट और कोडिंग टूल्स जैसे बड़े संदर्भ की जरूरत वाले कार्यों को कम से कम 64000 टोकन पर सेट किया जाना चाहिए।

संदर्भ लंबाई सेट करना

संदर्भ लंबाई बढ़ाने से मॉडल चलाने के लिए आवश्यक मेमोरी की मात्रा बढ़ जाएगी। संदर्भ लंबाई बढ़ाने के लिए अपने पास पर्याप्त VRAM उपलब्ध होने की पुष्टि करें।

क्लाउड मॉडल डिफ़ॉल्ट रूप से उनकी अधिकतम संदर्भ लंबाई पर सेट होते हैं।

ऐप

सेटिंग्स के तहत ओलामा ऐप में स्लाइडर को अपनी इच्छित संदर्भ लंबाई पर बदलें।

CLI

यदि ओलामा के लिए संदर्भ लंबाई संपादित करना संभव नहीं है, तो ओलामा को सर्व करते समय संदर्भ लंबाई को भी अपडेट किया जा सकता है।

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

आवंटित संदर्भ लंबाई और मॉडल ऑफलोडिंग की जांच करें

सर्वोत्तम प्रदर्शन के लिए, किसी मॉडल के लिए अधिकतम संदर्भ लंबाई का उपयोग करें, और मॉडल को CPU पर ऑफलोड करने से बचें। ollama ps का उपयोग करके PROCESSOR के तहत विभाजन की पुष्टि करें।

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now