컨텍스트 길이란 모델이 메모리에서 액세스할 수 있는 최대 토큰 수입니다.

Note

Ollama는 VRAM 용량에 따라 다음 기본 컨텍스트 길이를 사용합니다: - < 24 GiB VRAM: 4k 컨텍스트 - 24-48 GiB VRAM: 32k 컨텍스트 - >= 48 GiB VRAM: 256k 컨텍스트

웹 검색, 에이전트, 코딩 도구 등 대용량 컨텍스트가 필요한 작업은 최소 64000 토큰 이상으로 설정해야 합니다.

컨텍스트 길이 설정

컨텍스트 길이를 늘리면 모델 실행에 필요한 메모리 양이 증가합니다. 컨텍스트 길이를 늘리기 전에 충분한 VRAM이 있는지 확인하세요.

클라우드 모델은 기본적으로 최대 컨텍스트 길이로 설정됩니다.

앱

Ollama 앱의 설정 메뉴에서 슬라이더를 조정하여 원하는 컨텍스트 길이로 변경할 수 있습니다.

CLI

Ollama의 컨텍스트 길이를 직접 수정할 수 없는 경우, Ollama를 실행할 때 컨텍스트 길이를 업데이트할 수 있습니다.

OLLAMA_CONTEXT_LENGTH=64000 ollama serve

할당된 컨텍스트 길이 및 모델 오프로딩 확인

최상의 성능을 위해 모델의 최대 컨텍스트 길이를 사용하고, 모델을 CPU로 오프로딩하지 마세요. ollama ps 명령어를 사용하여 PROCESSOR 항목의 분할 상태를 확인하세요.

ollama ps

NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
gemma4:latest    c6eb396dbd59    9.6 GB    100% GPU     131072     2 minutes from now