Ollama ist eine native Windows-Anwendung, einschließlich Unterstützung für NVIDIA- und AMD Radeon-GPUs. Nach der Installation von Ollama für Windows läuft Ollama im Hintergrund und die Befehlszeile ollama ist in cmd, powershell oder deiner bevorzugten Terminalanwendung verfügbar. Wie gewohnt wird die Ollama-API unter http://localhost:11434 bereitgestellt.

Systemanforderungen

• Windows 10 22H2 oder neuer, Home oder Pro
• NVIDIA 551.61 oder neuere Treiber, wenn du eine NVIDIA-Grafikkarte hast
• AMD ROCm v7 / HIP7-fähiger Treiberstack für ROCm-Beschleunigung oder ein Vulkan-fähiger AMD Radeon-Treiber für Vulkan-Beschleunigung

Ollama verwendet Unicode-Zeichen zur Fortschrittsanzeige, die in einigen älteren Terminal-Schriftarten unter Windows 10 als unbekannte Quadrate dargestellt werden können. Wenn du das siehst, versuche die Schriftarteinstellungen deines Terminals zu ändern.

Hinweis

Einige RDNA2-/Radeon-RX-6000-Systeme, einschließlich Grafikkarten der RX-6800-Klasse, stellen unter den aktuellen Windows-AMD-Treibern möglicherweise kein ROCm v7 bereit. Vulkan ist standardmäßig aktiviert und ist der empfohlene Fallback für diese Systeme. Wenn ein gemischtes iGPU/dGPU-System eine instabile Vulkan-iGPU auswählt, setze GGML_VK_VISIBLE_DEVICES auf den Index der diskreten GPU.

Dateisystemanforderungen

Die Installation von Ollama erfordert keine Administratorrechte und wird standardmäßig in deinem Benutzerverzeichnis installiert. Du benötigst mindestens 4 GB Speicherplatz für die Installation der Binärdateien. Nach der Installation von Ollama benötigst du zusätzlichen Speicherplatz zum Speichern der Large Language Models, die eine Größe von zehn bis hundert GB haben können. Wenn dein Benutzerverzeichnis nicht genügend Speicherplatz hat, kannst du den Installationsort der Binärdateien und den Speicherort der Modelle ändern.

Installationsort ändern

Um die Ollama-Anwendung an einem anderen Ort als deinem Benutzerverzeichnis zu installieren, starte den Installer mit dem folgenden Flag

OllamaSetup.exe /DIR="d:\some\location"

Speicherort der Modelle ändern

Um zu ändern, wo Ollama die heruntergeladenen Modelle statt in deinem Benutzerverzeichnis speichert, setze die Umgebungsvariable OLLAMA_MODELS in deinem Benutzerkonto.

1. Starte die App „Einstellungen“ (Windows 11) oder „Systemsteuerung“ (Windows 10) und suche nach Umgebungsvariablen.

2. Klicke auf Umgebungsvariablen für dein Konto bearbeiten.

3. Bearbeite oder erstelle eine neue Variable für dein Benutzerkonto mit dem Namen OLLAMA_MODELS, unter der du die Modelle speichern möchtest

4. Klicke auf OK/Anwenden, um die Änderungen zu speichern.

Wenn Ollama bereits läuft, beende die Anwendung aus dem Infobereich und starte sie erneut über das Startmenü oder ein neues Terminal, das du nach dem Speichern der Umgebungsvariablen geöffnet hast.

API-Zugriff

Hier ein kurzes Beispiel für den API-Zugriff über powershell:

(Invoke-WebRequest -method POST -Body '{"model":"llama3.2", "prompt":"Why is the sky blue?", "stream": false}' -uri http://localhost:11434/api/generate ).Content | ConvertFrom-json

Fehlerbehebung

Ollama speichert unter Windows Dateien an mehreren verschiedenen Orten. Du kannst sie im Explorer-Fenster anzeigen, indem du <Ctrl>+R drückst und Folgendes eingibst:

• explorer %LOCALAPPDATA%\Ollama enthält Protokolle und heruntergeladene Updates
  • app.log enthält die aktuellsten Protokolle der GUI-Anwendung
  • server.log enthält die aktuellsten Server-Protokolle
  • upgrade.log enthält die Protokollausgaben für Upgrades
• explorer %LOCALAPPDATA%\Programs\Ollama enthält die Binärdateien (Der Installer fügt diesen Pfad deinem Benutzer-PATH hinzu)
• explorer %HOMEPATH%\.ollama enthält Modelle und Konfiguration
• explorer %TEMP% enthält temporäre ausführbare Dateien in einem oder mehreren ollama*-Verzeichnissen

Deinstallation

Der Ollama-Windows-Installer registriert eine Deinstallationsanwendung. Unter Programme hinzufügen oder entfernen in den Windows-Einstellungen kannst du Ollama deinstallieren.

Hinweis

Wenn du den Speicherort von OLLAMA_MODELS geändert hast, entfernt der Installer deine heruntergeladenen Modelle nicht.

Eigenständige CLI

Der einfachste Weg, Ollama unter Windows zu installieren, ist die Verwendung des Installers OllamaSetup.exe. Er wird in deinem Benutzerkonto installiert, ohne Administratorrechte zu erfordern. Wir aktualisieren Ollama regelmäßig, um die neuesten Modelle zu unterstützen, und dieser Installer hilft dir, immer auf dem neuesten Stand zu bleiben.

Wenn du Ollama als Dienst installieren oder integrieren möchtest, steht eine eigenständige ZIP-Datei ollama-windows-amd64.zip zur Verfügung, die nur die Ollama-CLI und die GPU-Bibliotheksabhängigkeiten für NVIDIA enthält. Abhängig von deiner Hardware musst du möglicherweise zusätzliche Pakete in dasselbe Verzeichnis herunterladen und entpacken:

• AMD GPU: ollama-windows-amd64-rocm.zip
• MLX (CUDA): ollama-windows-amd64-mlx.zip

Dies ermöglicht es, Ollama in bestehende Anwendungen einzubetten oder es als Systemdienst über ollama serve mit Tools wie NSSM auszuführen.

Hinweis

Wenn du von einer vorherigen Version aktualisierst, solltest du zuerst die alten Verzeichnisse entfernen.