Installation

Um Ollama zu installieren, führen Sie den folgenden Befehl aus:

curl -fsSL https://ollama.com/install.sh | sh

Manuelle Installation

Hinweis

Wenn Sie von einer früheren Version aktualisieren, sollten Sie zuerst die alten Bibliotheken mit sudo rm -rf /usr/lib/ollama entfernen.

Laden Sie das Paket herunter und extrahieren Sie es:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Starten Sie Ollama:

ollama serve

Öffnen Sie ein weiteres Terminal und überprüfen Sie, ob Ollama ausgeführt wird:

ollama -v

Installation für AMD-GPUs

Wenn Sie eine AMD-GPU verwenden, laden Sie zusätzlich das ROCm-Paket herunter und extrahieren Sie es:

curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

Installation für ARM64

Laden Sie das ARM64-spezifische Paket herunter und extrahieren Sie es:

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

Hinzufügen von Ollama als Startdienst (empfohlen)

Erstellen Sie einen Benutzer und eine Gruppe für Ollama:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

Erstellen Sie eine Dienstdatei unter /etc/systemd/system/ollama.service:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

Starten Sie anschließend den Dienst:

sudo systemctl daemon-reload
sudo systemctl enable ollama

Installation von CUDA-Treibern (optional)

Herunterladen und installieren Sie CUDA.

Überprüfen Sie, ob die Treiber installiert sind, indem Sie den folgenden Befehl ausführen, der Details zu Ihrer GPU ausgeben sollte:

nvidia-smi

Installation von AMD ROCm-Treibern (optional)

Herunterladen und installieren Sie ROCm v7.

Starten von Ollama

Starten Sie Ollama und überprüfen Sie, ob es ausgeführt wird:

sudo systemctl start ollama
sudo systemctl status ollama

Hinweis

Obwohl AMD den amdgpu-Treiber upstream zum offiziellen Linux-Kernel-Quellcode beigetragen hat, ist die Version älter und unterstützt möglicherweise nicht alle ROCm-Funktionen. Wir empfehlen Ihnen, den neuesten Treiber von https://www.amd.com/en/support/linux-drivers zu installieren, um die beste Unterstützung für Ihre Radeon-GPU zu erhalten.

Anpassen

Um die Installation von Ollama anzupassen, können Sie die systemd-Dienstdatei oder die Umgebungsvariablen bearbeiten, indem Sie folgenden Befehl ausführen:

sudo systemctl edit ollama

Alternativ können Sie eine Override-Datei manuell unter /etc/systemd/system/ollama.service.d/override.conf erstellen:

[Service]
Environment="OLLAMA_DEBUG=1"

Aktualisierung

Aktualisieren Sie Ollama, indem Sie das Installationsskript erneut ausführen:

curl -fsSL https://ollama.com/install.sh | sh

Oder indem Sie Ollama erneut herunterladen:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Installation bestimmter Versionen

Verwenden Sie die Umgebungsvariable OLLAMA_VERSION mit dem Installationsskript, um eine bestimmte Version von Ollama zu installieren, einschließlich Vorabversionen. Die Versionsnummern finden Sie auf der Releases-Seite.

Beispiel:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

Anzeigen von Protokollen

Um die Protokolle von Ollama anzuzeigen, das als Startdienst ausgeführt wird, führen Sie folgenden Befehl aus:

journalctl -e -u ollama

Deinstallation

Entfernen Sie den Ollama-Dienst:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Entfernen Sie die Ollama-Bibliotheken aus Ihrem lib-Verzeichnis (entweder /usr/local/lib, /usr/lib oder /lib):

sudo rm -r $(which ollama | tr 'bin' 'lib')

Entfernen Sie die Ollama-Binärdatei aus Ihrem bin-Verzeichnis (entweder /usr/local/bin, /usr/bin oder /bin):

sudo rm $(which ollama)

Entfernen Sie die heruntergeladenen Modelle sowie den Benutzer und die Gruppe des Ollama-Dienstes:

sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama