فهرس المحتويات

• استيراد محول (adapter) مُعدّل بالضبط الدقيق من أوزان Safetensors
• استيراد نموذج من أوزان Safetensors
• استيراد نموذج أو محول (adapter) مبني على GGUF
• مشاركة نموذجك على ollama.com

استيراد محول (adapter) مُعدّل بالضبط الدقيق من أوزان Safetensors

أولاً، أنشئ ملف Modelfile يحتوي على أمر FROM يشير إلى النموذج الأساسي الذي استخدمته للضبط الدقيق، وأمر ADAPTER يشير إلى الدليل الذي يحتوي على محول (adapter) Safetensors الخاص بك:

FROM <base model name>
ADAPTER /path/to/safetensors/adapter/directory

تأكد من استخدام نفس النموذج الأساسي في أمر FROM الذي استخدمته لإنشاء المحول (adapter)، وإلا ستحصل على نتائج غير متوقعة. تستخدم معظم الأطر طرق كمية مختلفة، لذا من الأفضل استخدام محولات (adapters) غير مُكمّمة (أي غير QLoRA). إذا كان المحول (adapter) الخاص بك في نفس الدليل الخاص بملف Modelfile، فاستخدم ADAPTER . لتحديد مسار المحول (adapter).

الآن، قم بتشغيل الأمر ollama create من الدليل الذي تم إنشاء ملف Modelfile فيه:

ollama create my-model

أخيراً، اختبر النموذج:

ollama run my-model

يدعم Ollama استيراد محولات (adapters) تعتمد على عدة بنى نماذج مختلفة، بما في ذلك:

• Llama (بما في ذلك Llama 2 و Llama 3 و Llama 3.1 و Llama 3.2)؛
• Mistral (بما في ذلك Mistral 1 و Mistral 2 و Mixtral)؛ و
• Gemma (بما في ذلك Gemma 1 و Gemma 2)

يمكنك إنشاء المحول (adapter) باستخدام إطار عمل أو أداة ضبط دقيق يمكنها إخراج محولات (adapters) بتنسيق Safetensors، مثل:

• Hugging Face إطار عمل الضبط الدقيق
• Unsloth
• MLX

استيراد نموذج من أوزان Safetensors

أولاً، أنشئ ملف Modelfile يحتوي على أمر FROM يشير إلى الدليل الذي يحتوي على أوزان Safetensors الخاصة بك:

FROM /path/to/safetensors/directory

إذا أنشأت ملف Modelfile في نفس الدليل الخاص بالأوزان، يمكنك استخدام الأمر FROM ..

الآن، قم بتشغيل الأمر ollama create من الدليل الذي أنشأت فيه ملف Modelfile:

ollama create my-model

أخيراً، اختبر النموذج:

ollama run my-model

يدعم Ollama استيراد نماذج لعدة بنى مختلفة، بما في ذلك:

• Llama (بما في ذلك Llama 2 و Llama 3 و Llama 3.1 و Llama 3.2)؛
• Mistral (بما في ذلك Mistral 1 و Mistral 2 و Mixtral)؛
• Gemma (بما في ذلك Gemma 1 و Gemma 2)؛ و
• Phi3

يتضمن ذلك استيراد النماذج الأساسية بالإضافة إلى أي نماذج مُعدّة بالضبط الدقيق والتي تم دمجها (fused) مع نموذج أساسي.

استيراد نموذج أو محول (adapter) مبني على GGUF

إذا كان لديك نموذج أو محول (adapter) مبني على GGUF، يمكنك استيراده إلى Ollama. يمكنك الحصول على نموذج أو محول (adapter) GGUF عن طريق:

• تحويل نموذج Safetensors باستخدام الأمر convert_hf_to_gguf.py من Llama.cpp؛
• تحويل محول (adapter) Safetensors باستخدام الأمر convert_lora_to_gguf.py من Llama.cpp؛ أو
• تنزيل نموذج أو محول (adapter) من مكان مثل HuggingFace

لاستيراد نموذج GGUF، أنشئ ملف Modelfile يحتوي على:

FROM /path/to/file.gguf

بالنسبة لمحول (adapter) GGUF، أنشئ ملف Modelfile يحتوي على:

FROM <model name>
ADAPTER /path/to/file.gguf

عند استيراد محول (adapter) GGUF، من المهم استخدام نفس النموذج الأساسي الذي تم إنشاء المحول (adapter) به. يمكنك استخدام:

• نموذج من Ollama
• ملف GGUF
• نموذج مبني على Safetensors

بمجرد إنشاء ملف Modelfile الخاص بك، استخدم الأمر ollama create لبناء النموذج.

ollama create my-model

كمية النموذج

تتيح لك كمية النموذج تشغيل النماذج بشكل أسرع وباستهلاك ذاكرة أقل، ولكن بدقة أقل. يتيح لك ذلك تشغيل نموذج على عتاد أقل قدرة.

يمكن لـ Ollama كي النماذج المعتمدة على FP16 و FP32 إلى مستويات كمية مختلفة باستخدام العلامة -q/--quantize مع الأمر ollama create.

أولاً، أنشئ ملف Modelfile مع النموذج المعتمد على FP16 أو FP32 الذي تريد كيته.

FROM /path/to/my/gemma/f16/model

استخدم الأمر ollama create بعد ذلك لإنشاء النموذج المُكمّم.

$ ollama create --quantize q4_K_M mymodel
transferring model data
quantizing F16 model to Q4_K_M
creating new layer sha256:735e246cc1abfd06e9cdcf95504d6789a6cd1ad7577108a70d9902fef503c1bd
creating new layer sha256:0853f0ad24e5865173bbf9ffcc7b0f5d56b66fd690ab1009867e45e7d2c4db0f
writing manifest
success

الكميات المدعومة

• q8_0

كميات K-means

• q4_K_S
• q4_K_M

مشاركة نموذجك على ollama.com

يمكنك مشاركة أي نموذج قمت بإنشائه عن طريق دفعه إلى ollama.com ليتمكن المستخدمون الآخرون من تجربته.

أولاً، استخدم متصفحك للانتقال إلى صفحة التسجيل في Ollama. إذا كان لديك حساب بالفعل، يمكنك تخطي هذه الخطوة.

سيتم استخدام حقل Username كجزء من اسم النموذج الخاص بك (مثل jmorganca/mymodel)، لذا تأكد من أنك مرتاح لاسم المستخدم الذي اخترته.

الآن بعد أن قمت بإنشاء حساب وقمت بتسجيل الدخول، انتقل إلى صفحة إعدادات مفاتيح Ollama.

اتبع التعليمات الموجودة على الصفحة لتحديد موقع مفتاحك العام لـ Ollama.

انقر على زر Add Ollama Public Key، ثم انسخ محتوى مفتاحك العام لـ Ollama وألصقه في حقل النص.

لدفع نموذج إلى ollama.com، تأكد أولاً من أنه مُسمى بشكل صحيح باسم المستخدم الخاص بك. قد تحتاج إلى استخدام الأمر ollama cp لنسخ النموذج الخاص بك لمنحه الاسم الصحيح. بمجرد أن تكون راضياً عن اسم النموذج الخاص بك، استخدم الأمر ollama push لدفعه إلى ollama.com.

ollama cp mymodel myuser/mymodel
ollama push myuser/mymodel

بمجرد دفع النموذج الخاص بك، يمكن للمستخدمين الآخرين سحبه وتشغيله باستخدام الأمر:

ollama run myuser/mymodel