Ollama, NVIDIA ve AMD Radeon GPU desteği de dahil olmak üzere yerel bir Windows uygulaması olarak çalışır. Windows için Ollama'yı kurduktan sonra Ollama arka planda çalışır ve ollama komut satırı cmd, powershell veya tercih ettiğiniz terminal uygulamasında kullanılabilir. Her zamanki gibi Ollama API'si http://localhost:11434 adresinde sunulur.

Sistem Gereksinimleri

• Windows 10 22H2 veya daha yeni, Home veya Pro sürümü
• NVIDIA kartınız varsa 551.61 veya daha yeni NVIDIA sürücüleri
• ROCm hızlandırma için AMD ROCm v7 / HIP7 uyumlu sürücü yığını, veya Vulkan hızlandırma için Vulkan uyumlu AMD Radeon sürücüsü

Ollama, ilerleme göstergesi olarak unicode karakterler kullanır, bu karakterler Windows 10'daki bazı eski terminal yazı tiplerinde bilinmeyen kareler olarak görünebilir. Bunu görürseniz terminal yazı tipi ayarlarınızı değiştirmeyi deneyin.

Not

Bazı RDNA2 / Radeon RX 6000 sistemleri, RX 6800 sınıfı kartları da dahil olmak üzere, mevcut Windows AMD sürücülerinde ROCm v7'yi ortaya çıkaramayabilir. Vulkan bu sistemler için varsayılan olarak etkinleştirilir ve önerilen yedek çözümdür. Karışık bir iGPU/dGPU sisteminde kararsız bir Vulkan iGPU seçilirse, GGML_VK_VISIBLE_DEVICES değişkenini ayrık GPU dizinine ayarlayın.

Dosya Sistemi Gereksinimleri

Ollama kurulumu Yönetici izni gerektirmez ve varsayılan olarak ev dizininize kurulur. İkili dosya kurulumu için en az 4GB alana ihtiyacınız olacak. Ollama'yı kurduktan sonra, onlarca ila yüzlerce GB boyutunda olabilen Büyük Dil Modellerini depolamak için ek alana ihtiyacınız olacak. Ev dizininizde yeterli alan yoksa, ikili dosyaların kurulacağı ve modellerin depolanacağı yeri değiştirebilirsiniz.

Kurulum Konumunu Değiştirme

Ollama uygulamasını ev dizininizden farklı bir konuma kurmak için kurulum programını aşağıdaki bayrakla başlatın

OllamaSetup.exe /DIR="d:\some\location"

Model Konumunu Değiştirme

Ollama'nın indirilen modelleri ev dizininiz yerine başka bir yerde depolamasını sağlamak için, kullanıcı hesabınızda OLLAMA_MODELS ortam değişkenini ayarlayın.

1. Ayarlar (Windows 11) veya Denetim Masası (Windows 10) uygulamasını başlatın ve _ortam değişkenleri_ni arayın.

2. Hesabınız için ortam değişkenlerini düzenle'ye tıklayın.

3. Modellerin depolanmasını istediğiniz konum için kullanıcı hesabınızda OLLAMA_MODELS değişkenini düzenleyin veya yeni oluşturun

4. Kaydetmek için Tamam / Uygula'ya tıklayın.

Ollama zaten çalışıyorsa, tepki uygulamasından çıkın ve ortam değişkenlerini kaydettikten sonra Başlat menüsünden veya yeni açılan bir terminalden yeniden başlatın.

API Erişimi

Aşağıda powershell kullanarak API erişimini gösteren hızlı bir örnek bulunmaktadır:

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Sorun Giderme

Windows'taki Ollama dosyaları birkaç farklı konumda depolanır. Bunları <Ctrl>+R tuşlarına basıp aşağıdaki metinleri yazarak Gezgin penceresinde görüntüleyebilirsiniz:

• explorer %LOCALAPPDATA%\Ollama günlükleri ve indirilen güncellemeleri içerir
  • app.log GUI uygulamasının en son günlüklerini içerir
  • server.log en son sunucu günlüklerini içerir
  • upgrade.log yükseltmelerin günlük çıktısını içerir
• explorer %LOCALAPPDATA%\Programs\Ollama ikili dosyaları içerir (Kurulum programı bunu kullanıcı PATH'inize ekler)
• explorer %HOMEPATH%\.ollama modelleri ve yapılandırmayı içerir
• explorer %TEMP% bir veya daha fazla ollama* dizininde geçici yürütülebilir dosyalar içerir

Kaldırma

Ollama Windows kurulum programı bir Kaldırma uygulaması kaydeder. Windows Ayarları'ndaki Uygulamaları ekle veya kaldır bölümünden Ollama'yı kaldırabilirsiniz.

Not

Model Konumunu Değiştirme bölümünde OLLAMA_MODELS konumunu değiştirdiyseniz, kurulum programı indirdiğiniz modelleri kaldırmayacaktır

Bağımsız CLI

Windows'ta Ollama'yı kurmanın en kolay yolu OllamaSetup.exe kurulum programını kullanmaktır. Yönetici izni gerektirmeden hesabınıza kurar. Ollama'yı en yeni modelleri destekleyecek şekilde düzenli olarak güncelleriz ve bu kurulum programı güncel kalmanıza yardımcı olur.

Ollama'yı bir hizmet olarak kurmak veya entegre etmek istiyorsanız, yalnızca Ollama CLI'sini ve NVIDIA için GPU kitaplığı bağımlılıklarını içeren ollama-windows-amd64.zip adlı bağımsız bir zip dosyası mevcuttur. Donanımınıza bağlı olarak, aynı dizine ek paketleri indirip çıkarmanız gerekebilir:

• AMD GPU: ollama-windows-amd64-rocm.zip
• MLX (CUDA): ollama-windows-amd64-mlx.zip

Bu, Ollama'yı mevcut uygulamalara gömmenize veya NSSM gibi araçlarla ollama serve komutuyla bir sistem hizmeti olarak çalıştırmanıza olanak tanır.

Not

Önceki bir sürümden yükseltiyorsanız, önce eski dizinleri kaldırmalısınız.