सूची पत लिखित विषय

• Safetensors वेट से फाइन-ट्यून किए गए एडाप्टर आयात करना
• Safetensors वेट से मॉडल आयात करना
• GGUF फाइल आयात करना
• ollama.com पर मॉडल साझा करना

Safetensors वेट से फाइन-ट्यून किए गए एडाप्टर आयात करना

सबसे पहले, एक Modelfile बनाएं जिसमें फाइन-ट्यूनिंग के लिए उपयोग किए गए आधार मॉडल को इंगित करने वाला FROM कमांड और अपने Safetensors एडाप्टर वाले डिरेक्ट्री को इंगित करने वाला ADAPTER कमांड हो:

FROM <base model name>
ADAPTER /path/to/safetensors/adapter/directory

सुनिश्चित करें कि FROM कमांड में उसी आधार मॉडल का उपयोग करें जिसका उपयोग एडाप्टर बनाने के लिए किया था, नहीं तो आपको अप्रत्याशित परिणाम मिलेंगे। अधिकांश फ्रेमवर्क अलग-अलग क्वांटाइजेशन विधियों का उपयोग करते हैं, इसलिए गैर-क्वांटाइज्ड (अर्थात गैर-QLoRA) एडाप्टर का उपयोग करना सबसे अच्छा है। यदि आपका एडाप्टर आपके Modelfile के समान डिरेक्ट्री में है, तो एडाप्टर पथ निर्दिष्ट करने के लिए ADAPTER . का उपयोग करें।

अब Modelfile बनाए गए डिरेक्ट्री से ollama create चलाएं:

ollama create my-model

अंत में, मॉडल का परीक्षण करें:

ollama run my-model

Ollama कई अलग-अलग मॉडल आर्किटेक्चर पर आधारित एडाप्टरों को आयात करने का समर्थन करता है, जिनमें शामिल हैं:

• Llama (Llama 2, Llama 3, Llama 3.1 और Llama 3.2 शामिल हैं);
• Mistral (Mistral 1, Mistral 2 और Mixtral शामिल हैं); और
• Gemma (Gemma 1 और Gemma 2 शामिल हैं)

आप Safetensors फॉर्मेट में एडाप्टर आउटपुट करने वाले किसी फाइन-ट्यूनिंग फ्रेमवर्क या टूल का उपयोग करके एडाप्टर बना सकते हैं, जैसे:

• Hugging Face फाइन-ट्यूनिंग फ्रेमवर्क
• Unsloth
• MLX

Safetensors वेट से मॉडल आयात करना

सबसे पहले, एक Modelfile बनाएं जिसमें आपके Safetensors वेट वाले डिरेक्ट्री को इंगित करने वाला FROM कमांड हो:

FROM /path/to/safetensors/directory

यदि आप Modelfile को वेट के समान डिरेक्ट्री में बनाते हैं, तो आप FROM . कमांड का उपयोग कर सकते हैं।

अब आपके द्वारा Modelfile बनाए गए डिरेक्ट्री से ollama create कमांड चलाएं:

ollama create my-model

अंत में, मॉडल का परीक्षण करें:

ollama run my-model

Ollama कई अलग-अलग आर्किटेक्चर के मॉडलों को आयात करने का समर्थन करता है, जिनमें शामिल हैं:

• Llama (Llama 2, Llama 3, Llama 3.1 और Llama 3.2 शामिल हैं);
• Mistral (Mistral 1, Mistral 2 और Mixtral शामिल हैं);
• Gemma (Gemma 1 और Gemma 2 शामिल हैं); और
• Phi3

इसमें फाउंडेशन मॉडलों के साथ-साथ उन सभी फाइन-ट्यून किए गए मॉडलों को आयात करना शामिल है जिन्हें फाउंडेशन मॉडल के साथ फ्यूज किया गया है।

GGUF आधारित मॉडल या एडाप्टर आयात करना

यदि आपके पास GGUF आधारित मॉडल या एडाप्टर है तो इसे Ollama में आयात करना संभव है। आप निम्नलिखित तरीकों से GGUF मॉडल या एडाप्टर प्राप्त कर सकते हैं:

• Llama.cpp से convert_hf_to_gguf.py का उपयोग करके Safetensors मॉडल को कनवर्ट करना;
• Llama.cpp से convert_lora_to_gguf.py का उपयोग करके Safetensors एडाप्टर को कनवर्ट करना; या
• HuggingFace जैसे स्थान से मॉडल या एडाप्टर डाउनलोड करना

GGUF मॉडल को आयात करने के लिए, निम्नलिखित सामग्री वाला Modelfile बनाएं:

FROM /path/to/file.gguf

GGUF एडाप्टर के लिए, Modelfile को निम्नलिखित रूप से बनाएं:

FROM <model name>
ADAPTER /path/to/file.gguf

GGUF एडाप्टर आयात करते समय, उसी आधार मॉडल का उपयोग करना महत्वपूर्ण है जिससे एडाप्टर बनाया गया था। आप निम्नलिखित का उपयोग कर सकते हैं:

• Ollama का कोई मॉडल
• GGUF फाइल
• Safetensors आधारित मॉडल

एक बार जब आप अपना Modelfile बना लें, तो मॉडल बनाने के लिए ollama create कमांड का उपयोग करें।

ollama create my-model

मॉडल को क्वांटाइज़ करना

मॉडल को क्वांटाइज़ करने से आप मॉडलों को तेजी से और कम मेमोरी खपत में चला सकते हैं, लेकिन इससे सटीकता कम हो जाती है। यह आपको अधिक साधारण हार्डवेयर पर मॉडल चलाने की अनुमति देता है।

Ollama ollama create कमांड के साथ -q/--quantize फ्लैग का उपयोग करके FP16 और FP32 आधारित मॉडलों को विभिन्न क्वांटाइजेशन स्तरों में क्वांटाइज़ कर सकता है।

सबसे पहले, उस FP16 या FP32 आधारित मॉडल के साथ Modelfile बनाएं जिसे आप क्वांटाइज़ करना चाहते हैं।

FROM /path/to/my/gemma/f16/model

फिर क्वांटाइज़्ड मॉडल बनाने के लिए ollama create का उपयोग करें।

$ ollama create --quantize q4_K_M mymodel
transferring model data
quantizing F16 model to Q4_K_M
creating new layer sha256:735e246cc1abfd06e9cdcf95504d6789a6cd1ad7577108a70d9902fef503c1bd
creating new layer sha256:0853f0ad24e5865173bbf9ffcc7b0f5d56b66fd690ab1009867e45e7d2c4db0f
writing manifest
success

समर्थित क्वांटाइजेशन

• q8_0

K-मीन क्वांटाइजेशन

• q4_K_S
• q4_K_M

ollama.com पर अपना मॉडल साझा करना

आप दूसरे उपयोगकर्ताओं को इसे आजमाने के लिए, बनाए गए किसी भी मॉडल को ollama.com पर पुश करके साझा कर सकते हैं।

सबसे पहले, अपने ब्राउज़र का उपयोग करके Ollama साइन-अप पेज पर जाएं। यदि आपके पास पहले से ही एक खाता है, तो आप इस चरण को छोड़ सकते हैं।

आपके मॉडल के नाम का हिस्सा बनने के लिए Username फ़ील्ड का उपयोग किया जाएगा (उदाहरण के लिए jmorganca/mymodel), इसलिए सुनिश्चित करें कि आप चुने गए उपयोगकर्ता नाम से संतुष्ट हैं।

अब जब आपने खाता बना लिया है और साइन-इन हो गए हैं, तो Ollama कुंजी सेटिंग्स पेज पर जाएं।

अपने Ollama पब्लिक की का स्थान निर्धारित करने के लिए पेज पर दिए गए निर्देशों का पालन करें।

Add Ollama Public Key बटन पर क्लिक करें, और अपने Ollama पब्लिक की की सामग्री को टेक्स्ट फ़ील्ड में कॉपी और पेस्ट करें।

ollama.com पर मॉडल पुश करने के लिए, सबसे पहले सुनिश्चित करें कि इसे अपने उपयोगकर्ता नाम के साथ सही नाम दिया गया है। मॉडल को सही नाम देने के लिए आपको ollama cp कमांड का उपयोग करना पड़ सकता है। एक बार जब आप अपने मॉडल के नाम से संतुष्ट हो जाएं, तो इसे ollama.com पर पुश करने के लिए ollama push कमांड का उपयोग करें।

ollama cp mymodel myuser/mymodel
ollama push myuser/mymodel

एक बार जब आपका मॉडल पुश हो जाता है, तो दूसरे उपयोगकर्ता निम्नलिखित कमांड का उपयोग करके इसे पुल और चला सकते हैं:

ollama run myuser/mymodel