Ollama is een native Windows-toepassing, met ondersteuning voor NVIDIA- en AMD Radeon-GPU's. Nadat je Ollama voor Windows hebt geïnstalleerd, draait Ollama op de achtergrond en is de ollama commandoregel beschikbaar in cmd, powershell of je favoriete terminaltoepassing. Zoals gebruikelijk wordt de Ollama-API aangeboden op http://localhost:11434.

Systeemvereisten

• Windows 10 22H2 of nieuwer, Home of Pro
• NVIDIA 551.61 of nieuwere stuurprogramma's als je een NVIDIA-kaart hebt
• AMD ROCm v7 / HIP7-compatibele stuurprogrammastack voor ROCm-versnelling, of een Vulkan-compatibele AMD Radeon-stuurprogramma voor Vulkan-versnelling

Ollama gebruikt unicode-tekens voor voortgangsindicatie, die in sommige oudere terminallettertypen in Windows 10 als onbekende vierkanten kunnen worden weergegeven. Als je dit ziet, probeer dan je terminallettertype-instellingen te wijzigen.

Opmerking

Sommige RDNA2 / Radeon RX 6000-systemen, waaronder RX 6800-klassekaarten, kunnen ROCm v7 niet blootleggen op de huidige Windows AMD-stuurprogramma's. Vulkan is standaard ingeschakeld en is de aanbevolen terugvaloptie voor deze systemen. Als een gemengd iGPU/dGPU-systeem een instabiele Vulkan iGPU selecteert, stel je GGML_VK_VISIBLE_DEVICES in op de index van de discrete GPU.

Bestandssysteemvereisten

De installatie van Ollama vereist geen Administratorrechten, en wordt standaard geïnstalleerd in je home directory. Je hebt minimaal 4GB aan ruimte nodig voor de installatie van de binary's. Zodra je Ollama hebt geïnstalleerd, heb je extra ruimte nodig voor het opslaan van de Grote taalmodellen, die tientallen tot honderden GB groot kunnen zijn. Als je home directory niet genoeg ruimte heeft, kun je de locatie van de binary's en de opslaglocatie van de modellen aanpassen.

Installatielocatie wijzigen

Om de Ollama-toepassing te installeren op een andere locatie dan je home directory, start je de installer met de volgende vlag

OllamaSetup.exe /DIR="d:\some\location"

Modellocatie wijzigen

Om de locatie waar Ollama de gedownloade modellen opslaat aan te passen in plaats van je home directory te gebruiken, stel je de omgevingsvariabele OLLAMA_MODELS in op je gebruikersaccount.

1. Start de toepassing Instellingen (Windows 11) of Configuratiescherm (Windows 10) en zoek naar omgevingsvariabelen.

2. Klik op Omgevingsvariabelen voor uw account bewerken.

3. Bewerk of maak een nieuwe variabele voor je gebruikersaccount voor OLLAMA_MODELS met de gewenste opslaglocatie voor de modellen

4. Klik op OK/Toepassen om op te slaan.

Als Ollama al actief is, sluit je de traytoepassing en start je deze opnieuw vanaf het Startmenu, of een nieuwe terminal die je hebt gestart nadat je de omgevingsvariabelen hebt opgeslagen.

API-toegang

Hier is een snel voorbeeld van API-toegang vanuit powershell

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Problemen oplossen

Ollama op Windows slaat bestanden op verschillende locaties op. Je kunt ze bekijken in het explorervenster door op <Ctrl>+R te drukken en in te typen:

• explorer %LOCALAPPDATA%\Ollama bevat logs en gedownloade updates
  • app.log bevat de meest recente logs van de GUI-toepassing
  • server.log bevat de meest recente serverlogs
  • upgrade.log bevat loguitvoer voor upgrades
• explorer %LOCALAPPDATA%\Programs\Ollama bevat de binary's (De installer voegt deze toe aan je gebruikers-PATH)
• explorer %HOMEPATH%\.ollama bevat modellen en configuratie
• explorer %TEMP% bevat tijdelijke uitvoerbare bestanden in een of meer ollama* mappen

Deïnstalleren

De Ollama Windows-installer registreert een deïnstallatietoepassing. Onder Programma's toevoegen of verwijderen in de Windows Instellingen kun je Ollama deïnstalleren.

Opmerking

Als je de OLLAMA_MODELS-locatie hebt gewijzigd, zal de installer je gedownloade modellen niet verwijderen

Zelfstandige CLI

De eenvoudigste manier om Ollama op Windows te installeren is de OllamaSetup.exe-installer te gebruiken. Deze wordt geïnstalleerd in je account zonder Administratorrechten te vereisen. We updaten Ollama regelmatig om de nieuwste modellen te ondersteunen, en deze installer zorgt ervoor dat je altijd up-to-date blijft.

Als je Ollama als service wilt installeren of integreren, is er een zelfstandige ollama-windows-amd64.zip-zipbestand beschikbaar dat alleen de Ollama-CLI en GPU-bibliotheekafhankelijkheden voor Nvidia bevat. Afhankelijk van je hardware moet je mogelijk ook extra pakketten downloaden en uitpakken in dezelfde map:

• AMD GPU: ollama-windows-amd64-rocm.zip
• MLX (CUDA): ollama-windows-amd64-mlx.zip

Dit maakt het mogelijk om Ollama in te bedden in bestaande toepassingen, of het uit te voeren als een systeemservice via ollama serve met tools zoals NSSM.

Opmerking

Als je een upgrade doet van een eerdere versie, moet je eerst de oude mappen verwijderen.