Ollama는 네이티브 Windows 애플리케이션으로 실행되며, NVIDIA 및 AMD Radeon GPU를 지원합니다. Windows용 Ollama를 설치한 후, Ollama는 백그라운드에서 실행되며 cmd, powershell 또는 자주 사용하는 터미널 애플리케이션에서 ollama 명령줄을 사용할 수 있습니다. 평소처럼 Ollama API는 http://localhost:11434에서 제공됩니다.
시스템 요구 사양
- Windows 10 22H2 이상(Home 또는 Pro 에디션)
- NVIDIA 그래픽 카드를 사용하는 경우 NVIDIA 551.61 이상 드라이버
- ROCm 가속을 사용하려면 AMD ROCm v7/HIP7을 지원하는 드라이버 스택이 필요하며, Vulkan 가속을 사용하려면 Vulkan을 지원하는 AMD Radeon 드라이버가 필요합니다.
Ollama는 진행 상태 표시에 유니코드 문자를 사용하므로, Windows 10의 일부 오래된 터미널 폰트에서는 알 수 없는 사각형으로 표시될 수 있습니다. 이 문제가 발생하는 경우 터미널 폰트 설정을 변경해 보세요.
참고
일부 RDNA2 / Radeon RX 6000 시스템(예: RX 6800급 카드 포함)은 현재 Windows용 AMD 드라이버에서 ROCm v7을 노출하지 않을 수 있습니다. 해당 시스템에서는 Vulkan이 기본으로 활성화되어 있으며, 권장되는 대체 가속 방식입니다. 통합 GPU/외장 GPU가 혼합된 시스템에서 불안정한 Vulkan 통합 GPU가 선택되는 경우, GGML_VK_VISIBLE_DEVICES를 외장 GPU 인덱스로 설정하세요.
파일 시스템 요구 사항
Ollama 설치에는 관리자 권한이 필요하지 않으며, 기본적으로 홈 디렉터리에 설치됩니다. 바이너리 설치에는 최소 4GB의 공간이 필요합니다. Ollama를 설치한 후에는 수십 GB에서 수백 GB 크기에 달하는 대규모 언어 모델을 저장하기 위한 추가 공간이 필요합니다. 홈 디렉터리에 공간이 부족한 경우, 바이너리 설치 위치와 모델 저장 위치를 변경할 수 있습니다.
설치 위치 변경
Ollama 애플리케이션을 홈 디렉터리가 아닌 다른 위치에 설치하려면, 다음 플래그를 사용해 설치 프로그램을 실행하세요.
powershell
OllamaSetup.exe /DIR="d:\some\location"모델 저장 위치 변경
Ollama가 다운로드한 모델을 홈 디렉터리가 아닌 다른 위치에 저장하려면, 사용자 계정에 환경 변수 OLLAMA_MODELS를 설정하세요.
- 설정 앱(Windows 11) 또는 제어판(Windows 10)을 열고 '환경 변수'를 검색하세요.
- '내 계정의 환경 변수 편집'을 클릭하세요.
- 모델을 저장할 위치를 지정해 사용자 계정에
OLLAMA_MODELS환경 변수를 새로 생성하거나 편집하세요. - 확인/적용을 클릭해 저장하세요.
Ollama가 이미 실행 중인 경우, 트레이 애플리케이션을 종료한 후 시작 메뉴에서 다시 실행하거나, 환경 변수를 저장한 후 새로 연 터미널에서 실행하세요.
API 접근
다음은 powershell에서 API에 접근하는 간단한 예시입니다.
powershell
(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json문제 해결
Windows에서 실행되는 Ollama는 여러 위치에 파일을 저장합니다. <Ctrl>+R을 누른 후 아래 경로를 입력하면 탐색기 창에서 해당 위치를 확인할 수 있습니다.
explorer %LOCALAPPDATA%\Ollama에는 로그와 다운로드한 업데이트 파일이 저장됩니다.- _app.log_에는 GUI 애플리케이션의 가장 최근 로그가 저장됩니다.
- _server.log_에는 가장 최근 서버 로그가 저장됩니다.
- _upgrade.log_에는 업그레이드 관련 로그 출력이 저장됩니다.
explorer %LOCALAPPDATA%\Programs\Ollama에는 바이너리 파일이 저장되며, 설치 프로그램이 사용자 PATH에 이 경로를 추가합니다.explorer %HOMEPATH%\.ollama에는 모델과 설정 파일이 저장됩니다.explorer %TEMP%에는 하나 이상의ollama*디렉터리에 임시 실행 파일이 저장됩니다.
제거
Ollama Windows 설치 프로그램은 제거 프로그램을 등록합니다. Windows 설정의 앱 및 기능에서 Ollama를 제거할 수 있습니다.
참고
OLLAMA_MODELS 위치를 변경한 경우, 설치 프로그램이 다운로드한 모델을 삭제하지 않습니다.
독립 실행형 CLI
Windows에서 Ollama를 설치하는 가장 쉬운 방법은 OllamaSetup.exe 설치 프로그램을 사용하는 것입니다. 이 설치 프로그램은 관리자 권한 없이 사용자 계정에 설치되며, 최신 모델을 지원하기 위해 정기적으로 업데이트되는 Ollama를 최신 상태로 유지할 수 있도록 도와줍니다.
Ollama를 서비스로 설치하거나 통합하려는 경우, Ollama CLI와 NVIDIA용 GPU 라이브러리 의존성만 포함된 독립 실행형 ollama-windows-amd64.zip 파일을 사용할 수 있습니다. 사용 중인 하드웨어에 따라 동일한 디렉터리에 추가 패키지를 다운로드하고 압축을 해제해야 할 수도 있습니다:
- AMD GPU:
ollama-windows-amd64-rocm.zip - MLX (CUDA):
ollama-windows-amd64-mlx.zip
이를 통해 기존 애플리케이션에 Ollama를 임베드하거나, NSSM 등의 도구를 사용해 ollama serve로 시스템 서비스로 실행할 수 있습니다.
참고
이전 버전에서 업그레이드하는 경우, 먼저 이전 디렉터리를 삭제해야 합니다.