Installazione

Per installare Ollama, esegui il seguente comando:

curl -fsSL https://ollama.com/install.sh | sh

Installazione manuale

Nota

Se stai aggiornando da una versione precedente, devi prima rimuovere le vecchie librerie con sudo rm -rf /usr/lib/ollama.

Scarica ed estrai il pacchetto:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Avvia Ollama:

ollama serve

In un altro terminale, verifica che Ollama sia in esecuzione:

ollama -v

Installazione GPU AMD

Se disponi di una GPU AMD, scarica ed estrai anche il pacchetto ROCm aggiuntivo:

curl -fsSL https://ollama.com/download/ollama-linux-amd64-rocm.tar.zst \
    | sudo tar x -C /usr

Installazione ARM64

Scarica ed estrai il pacchetto specifico per ARM64:

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst \
    | sudo tar x -C /usr

Aggiunta di Ollama come servizio di avvio (consigliato)

Crea un utente e un gruppo per Ollama:

sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama
sudo usermod -a -G ollama $(whoami)

Crea un file di servizio in /etc/systemd/system/ollama.service:

[Unit]
Description=Ollama Service
After=network-online.target

[Service]
ExecStart=/usr/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=$PATH"

[Install]
WantedBy=multi-user.target

Quindi avvia il servizio:

sudo systemctl daemon-reload
sudo systemctl enable ollama

Installazione dei driver CUDA (opzionale)

Scarica e installa CUDA.

Verifica che i driver siano installati eseguendo il seguente comando, che dovrebbe mostrare i dettagli sulla tua GPU:

nvidia-smi

Installazione dei driver AMD ROCm (opzionale)

Scarica e installa ROCm v7.

Avvio di Ollama

Avvia Ollama e verifica che sia in esecuzione:

sudo systemctl start ollama
sudo systemctl status ollama

Nota

Sebbene AMD abbia contribuito con il driver amdgpu al sorgente ufficiale del kernel Linux, la versione è più datata e potrebbe non supportare tutte le funzionalità di ROCm. Ti consigliamo di installare il driver più recente da https://www.amd.com/en/support/linux-drivers per il supporto ottimale della tua GPU Radeon.

Personalizzazione

Per personalizzare l'installazione di Ollama, puoi modificare il file di servizio systemd o le variabili d'ambiente eseguendo:

sudo systemctl edit ollama

In alternativa, crea manualmente un file di override in /etc/systemd/system/ollama.service.d/override.conf:

[Service]
Environment="OLLAMA_DEBUG=1"

Aggiornamento

Aggiorna Ollama eseguendo nuovamente lo script di installazione:

curl -fsSL https://ollama.com/install.sh | sh

Oppure riscaricando Ollama:

curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst \
    | sudo tar x -C /usr

Installazione di versioni specifiche

Utilizza la variabile d'ambiente OLLAMA_VERSION con lo script di installazione per installare una versione specifica di Ollama, incluse le pre-release. Puoi trovare i numeri di versione nella pagina delle release.

Ad esempio:

curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh

Visualizzazione dei log

Per visualizzare i log di Ollama in esecuzione come servizio di avvio, esegui:

journalctl -e -u ollama

Disinstallazione

Rimuovi il servizio ollama:

sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service

Rimuovi le librerie di ollama dalla tua directory lib (una tra /usr/local/lib, /usr/lib o /lib):

sudo rm -r $(which ollama | tr 'bin' 'lib')

Rimuovi il binario di ollama dalla tua directory bin (una tra /usr/local/bin, /usr/bin o /bin):

sudo rm $(which ollama)

Rimuovi i modelli scaricati, l'utente e il gruppo del servizio Ollama:

sudo userdel ollama
sudo groupdel ollama
sudo rm -r /usr/share/ollama