ความยาวบริบทคือจำนวนโทเคนสูงสุดที่โมเดลสามารถเข้าถึงได้ในหน่วยความจำ

หมายเหตุ

Ollama จะกำหนดความยาวบริบทเริ่มต้นตามปริมาณ VRAM ดังนี้: - VRAM ต่ำกว่า 24 GiB: ความยาวบริบท 4k - VRAM 24-48 GiB: ความยาวบริบท 32k - VRAM ตั้งแต่ 48 GiB ขึ้นไป: ความยาวบริบท 256k

งานที่ต้องการความยาวบริบทขนาดใหญ่ เช่น การค้นหาเว็บ เอเจนต์ และเครื่องมือเขียนโค้ด ควรตั้งค่าอย่างน้อย 64000 โทเคน

การตั้งค่าความยาวบริบท

การตั้งค่าความยาวบริบทที่ใหญ่ขึ้นจะทำให้ปริมาณหน่วยความจำที่ต้องการสำหรับรันโมเดลเพิ่มขึ้น ตรวจสอบให้แน่ใจว่าคุณมี VRAM เพียงพอสำหรับการเพิ่มความยาวบริบท

โมเดลบนคลาวด์จะถูกตั้งค่าสูงสุดตามความยาวบริบทเริ่มต้นอยู่แล้ว

แอป

ปรับแถบเลื่อนในแอป Ollama ภายใต้เมนูการตั้งค่าตามความยาวบริบทที่คุณต้องการ

CLI

หากไม่สามารถแก้ไขความยาวบริบทสำหรับ Ollama ได้ คุณยังสามารถอัปเดตความยาวบริบทได้ขณะเริ่มบริการ Ollama

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

การตรวจสอบความยาวบริบทที่จัดสรรแล้วและการถ่ายโอนโมเดล

เพื่อประสิทธิภาพที่ดีที่สุด ใช้ความยาวบริบทสูงสุดสำหรับโมเดล และหลีกเลี่ยงการถ่ายโอนโมเดลไปยัง CPU ตรวจสอบสัดส่วนการใช้งานภายใต้ PROCESSOR โดยใช้คำสั่ง ollama ps

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now