Indice

• Importazione di un adapter fine-tuned da pesi Safetensors
• Importazione di un modello da pesi Safetensors
• Importazione di un modello o adapter basato su GGUF
• Condivisione dei modelli su ollama.com

Importazione di un adapter fine-tuned da pesi Safetensors

Per prima cosa, crea un Modelfile con un comando FROM che punta al modello base che hai utilizzato per il fine-tuning, e un comando ADAPTER che punta alla directory contenente il tuo adapter Safetensors:

FROM <base model name>
ADAPTER /path/to/safetensors/adapter/directory

Assicurati di utilizzare lo stesso modello base nel comando FROM che hai usato per creare l'adapter, altrimenti otterrai risultati imprevedibili. La maggior parte dei framework utilizza metodi di quantizzazione diversi, quindi è preferibile utilizzare adapter non quantizzati (cioè non QLoRA). Se il tuo adapter si trova nella stessa directory del tuo Modelfile, utilizza ADAPTER . per specificare il percorso dell'adapter.

Ora esegui ollama create dalla directory in cui è stato creato il Modelfile:

ollama create my-model

Infine, testa il modello:

ollama run my-model

Ollama supporta l'importazione di adapter basati su diverse architetture di modello, tra cui:

• Llama (inclusi Llama 2, Llama 3, Llama 3.1 e Llama 3.2);
• Mistral (inclusi Mistral 1, Mistral 2 e Mixtral); e
• Gemma (inclusi Gemma 1 e Gemma 2)

Puoi creare l'adapter utilizzando un framework o strumento di fine-tuning in grado di esportare adapter nel formato Safetensors, ad esempio:

• Hugging Face framework di fine-tuning
• Unsloth
• MLX

Importazione di un modello da pesi Safetensors

Per prima cosa, crea un Modelfile con un comando FROM che punta alla directory contenente i tuoi pesi Safetensors:

FROM /path/to/safetensors/directory

Se crei il Modelfile nella stessa directory dei pesi, puoi utilizzare il comando FROM ..

Ora esegui il comando ollama create dalla directory in cui hai creato il Modelfile:

ollama create my-model

Infine, testa il modello:

ollama run my-model

Ollama supporta l'importazione di modelli per diverse architetture, tra cui:

• Llama (inclusi Llama 2, Llama 3, Llama 3.1 e Llama 3.2);
• Mistral (inclusi Mistral 1, Mistral 2 e Mixtral);
• Gemma (inclusi Gemma 1 e Gemma 2); e
• Phi3

Questo include l'importazione di modelli base, nonché di qualsiasi modello fine-tuned che sia stato fuso con un modello base.

Importazione di un modello o adapter basato su GGUF

Se disponi di un modello o adapter basato su GGUF, è possibile importarlo in Ollama. Puoi ottenere un modello o adapter GGUF tramite:

• conversione di un modello Safetensors utilizzando lo script convert_hf_to_gguf.py di Llama.cpp;
• conversione di un adapter Safetensors utilizzando lo script convert_lora_to_gguf.py di Llama.cpp; oppure
• download di un modello o adapter da una piattaforma come HuggingFace

Per importare un modello GGUF, crea un Modelfile contenente:

FROM /path/to/file.gguf

Per un adapter GGUF, crea il Modelfile con:

FROM <model name>
ADAPTER /path/to/file.gguf

Quando importi un adapter GGUF, è importante utilizzare lo stesso modello base con cui è stato creato l'adapter. Puoi utilizzare:

• un modello da Ollama
• un file GGUF
• un modello basato su Safetensors

Una volta creato il tuo Modelfile, utilizza il comando ollama create per creare il modello.

ollama create my-model

Quantizzazione di un modello

La quantizzazione di un modello ti permette di eseguire i modelli più velocemente e con un minor consumo di memoria, ma a scapito di una precisione ridotta. Questo ti consente di eseguire un modello su hardware meno potente.

Ollama può quantizzare modelli basati su FP16 e FP32 in diversi livelli di quantizzazione utilizzando il flag -q/--quantize con il comando ollama create.

Per prima cosa, crea un Modelfile con il modello basato su FP16 o FP32 che desideri quantizzare.

FROM /path/to/my/gemma/f16/model

Utilizza ollama create per creare il modello quantizzato.

$ ollama create --quantize q4_K_M mymodel
transferring model data
quantizing F16 model to Q4_K_M
creating new layer sha256:735e246cc1abfd06e9cdcf95504d6789a6cd1ad7577108a70d9902fef503c1bd
creating new layer sha256:0853f0ad24e5865173bbf9ffcc7b0f5d56b66fd690ab1009867e45e7d2c4db0f
writing manifest
success

Quantizzazioni supportate

• q8_0

Quantizzazioni K-means

• q4_K_S
• q4_K_M

Condivisione del tuo modello su ollama.com

Puoi condividere qualsiasi modello tu abbia creato caricandolo su ollama.com in modo che altri utenti possano provarlo.

Per prima cosa, utilizza il tuo browser per andare alla pagina di Iscrizione a Ollama. Se hai già un account, puoi saltare questo passaggio.

Il campo Username verrà utilizzato come parte del nome del tuo modello (ad esempio jmorganca/mymodel), quindi assicurati di essere soddisfatto del nome utente che hai scelto.

Ora che hai creato un account e hai effettuato l'accesso, vai alla pagina delle Impostazioni delle chiavi di Ollama.

Segui le indicazioni sulla pagina per individuare la posizione della tua Chiave Pubblica Ollama.

Fai clic sul pulsante Aggiungi chiave pubblica Ollama, quindi copia e incolla il contenuto della tua Chiave Pubblica Ollama nel campo di testo.

Per caricare un modello su ollama.com, per prima cosa assicurati che sia denominato correttamente con il tuo nome utente. Potresti dover utilizzare il comando ollama cp per copiare il tuo modello e assegnargli il nome corretto. Una volta che sei soddisfatto del nome del tuo modello, utilizza il comando ollama push per caricarlo su ollama.com.

ollama cp mymodel myuser/mymodel
ollama push myuser/mymodel

Una volta che il tuo modello è stato caricato, altri utenti possono scaricarlo ed eseguirlo utilizzando il comando:

ollama run myuser/mymodel