İçindekiler

• Safetensors Ağırlıklarından İnce Ayar Adapter İçe Aktarma
• Safetensors Ağırlıklarından Model İçe Aktarma
• GGUF Tabanlı Model veya Adapter İçe Aktarma
• Modelinizi ollama.com'da Paylaşma

Safetensors Ağırlıklarından İnce Ayar Adapter İçe Aktarma

Öncelikle, ince ayar için kullandığınız temel modeli gösteren bir FROM komutu ve Safetensors adapter'ınızın bulunduğu dizini gösteren bir ADAPTER komutu içeren bir Modelfile oluşturun:

FROM <base model name>
ADAPTER /path/to/safetensors/adapter/directory

Adapter'ı oluşturmak için kullandığınız temel model ile FROM komutundaki temel modelin aynı olduğundan emin olun, aksi takdirde tutarsız sonuçlar alırsınız. Çoğu çerçeve farklı nicemleme yöntemleri kullanır, bu nedenle nicemlenmemiş (yani QLoRA olmayan) adapter'ları kullanmanız en iyisidir. Adapter'ınız Modelfile ile aynı dizinde ise, adapter yolunu belirtmek için ADAPTER . komutunu kullanın.

Şimdi Modelfile'in oluşturulduğu dizinden ollama create komutunu çalıştırın:

ollama create my-model

Son olarak modeli test edin:

ollama run my-model

Ollama, çeşitli farklı model mimarilerine dayalı adapter'ların içe aktarılmasını destekler, bunlar arasında:

• Llama (Llama 2, Llama 3, Llama 3.1 ve Llama 3.2 dahil);
• Mistral (Mistral 1, Mistral 2 ve Mixtral dahil); ve
• Gemma (Gemma 1 ve Gemma 2 dahil)

Adapter'ı Safetensors formatında adapter çıktısı verebilen bir ince ayar çerçevesi veya aracı kullanarak oluşturabilirsiniz, örneğin:

• Hugging Face ince ayar çerçevesi
• Unsloth
• MLX

Safetensors Ağırlıklarından Model İçe Aktarma

Öncelikle, Safetensors ağırlıklarınızın bulunduğu dizini gösteren bir FROM komutu içeren bir Modelfile oluşturun:

FROM /path/to/safetensors/directory

Modelfile'i ağırlıklarla aynı dizinde oluşturursanız, FROM . komutunu kullanabilirsiniz.

Şimdi Modelfile'i oluşturduğunuz dizinden ollama create komutunu çalıştırın:

ollama create my-model

Son olarak modeli test edin:

ollama run my-model

Ollama, çeşitli farklı mimariler için modellerin içe aktarılmasını destekler, bunlar arasında:

• Llama (Llama 2, Llama 3, Llama 3.1 ve Llama 3.2 dahil);
• Mistral (Mistral 1, Mistral 2 ve Mixtral dahil);
• Gemma (Gemma 1 ve Gemma 2 dahil); ve
• Phi3

Bu işlem, temel modellerin yanı sıra bir temel model ile fused (birleştirilmiş) olan tüm ince ayarlı modellerin içe aktarılmasını da kapsar.

GGUF Tabanlı Model veya Adapter İçe Aktarma

Eğer GGUF tabanlı bir model veya adapter'ınız varsa bunu Ollama'ya içe aktarabilirsiniz. GGUF modeli veya adapter'ını şu şekillerde elde edebilirsiniz:

• Llama.cpp'den convert_hf_to_gguf.py scripti ile bir Safetensors modelini dönüştürerek;
• Llama.cpp'den convert_lora_to_gguf.py scripti ile bir Safetensors adapter'ını dönüştürerek; veya
• HuggingFace gibi bir yerden model veya adapter indirerek

GGUF modelini içe aktarmak için şunu içeren bir Modelfile oluşturun:

FROM /path/to/file.gguf

GGUF adapter için Modelfile'i şu şekilde oluşturun:

FROM <model name>
ADAPTER /path/to/file.gguf

GGUF adapter içe aktarırken, adapter'ın oluşturulduğu temel model ile aynı temel modeli kullanmak önemlidir. Şunları kullanabilirsiniz:

• Ollama'dan bir model
• Bir GGUF dosyası
• Safetensors tabanlı bir model

Modelfile'inizi oluşturduktan sonra modeli oluşturmak için ollama create komutunu kullanın.

ollama create my-model

Modeli Nicemleme (Quantizing)

Bir modeli nicemlemek, modelleri daha hızlı çalıştırmanıza ve daha az bellek tüketimi sağlamanıza olanak tanır ancak doğruluk oranı düşer. Bu sayede daha düşük özellikli donanımlarda model çalıştırabilirsiniz.

Ollama, ollama create komutu ile -q/--quantize bayrağını kullanarak FP16 ve FP32 tabanlı modelleri farklı nicemleme seviyelerine nicemleyebilir.

Öncelikle, nicemlemek istediğiniz FP16 veya FP32 tabanlı modeli içeren bir Modelfile oluşturun.

FROM /path/to/my/gemma/f16/model

Sonra nicemlenmiş modeli oluşturmak için ollama create komutunu kullanın.

$ ollama create --quantize q4_K_M mymodel
transferring model data
quantizing F16 model to Q4_K_M
creating new layer sha256:735e246cc1abfd06e9cdcf95504d6789a6cd1ad7577108a70d9902fef503c1bd
creating new layer sha256:0853f0ad24e5865173bbf9ffcc7b0f5d56b66fd690ab1009867e45e7d2c4db0f
writing manifest
success

Desteklenen Nicemlemeler

• q8_0

K-means Nicemlemeleri

• q4_K_S
• q4_K_M

Modelinizi ollama.com'da Paylaşma

Oluşturduğunuz herhangi bir modeli ollama.com adresine göndererek diğer kullanıcıların denemesini sağlayabilirsiniz.

Öncelikle tarayıcınızı kullanarak Ollama Kayıt Ol sayfasına gidin. Zaten bir hesabınız varsa bu adımı atlayabilirsiniz.

Kullanıcı adınız, model adınızın bir parçası olarak kullanılacaktır (örneğin jmorganca/mymodel), bu nedenle seçtiğiniz kullanıcı adından memnun olduğunuzdan emin olun.

Hesabınızı oluşturduğunuz ve giriş yaptığınız şimdi Ollama Anahtar Ayarları sayfasına gidin.

Ollama Genel Anahtarınızın nerede bulunduğunu belirlemek için sayfadaki yönlendirmeleri takip edin.

Ollama Genel Anahtarı Ekle düğmesine tıklayın ve Ollama Genel Anahtarınızın içeriğini kopyalayıp metin alanına yapıştırın.

ollama.com adresine bir model göndermek için öncelikle modelin kullanıcı adınız ile doğru şekilde adlandırıldığından emin olun. Modelinize doğru adı vermek için ollama cp komutunu kullanmanız gerekebilir. Model adından memnun olduğunuzda, ollama.com adresine göndermek için ollama push komutunu kullanın.

ollama cp mymodel myuser/mymodel
ollama push myuser/mymodel

Modeliniz gönderildikten sonra diğer kullanıcılar bu komutu kullanarak modeli çekip çalıştırabilir:

ollama run myuser/mymodel