Skip to content

Ollama मौजूदा एप्लिकेशनों को Ollama से कनेक्ट करने में सहायता के लिए OpenAI API के कुछ भागों के साथ संगतता प्रदान करता है।

उपयोग

सरल /v1/chat/completions उदाहरण

सरल /v1/responses उदाहरण

/v1/chat/completions विज़न (दृष्टि) उदाहरण के साथ

एंडपॉइंट्स

/v1/chat/completions

समर्थित सुविधाएँ

  • [x] चैट पूर्णता
  • [x] स्ट्रीमिंग
  • [x] JSON मोड
  • [x] पुनरुत्पादन योग्य आउटपुट
  • [x] विज़न
  • [x] टूल्स
  • [x] तर्क/सोच नियंत्रण (थिंकिंग मॉडल के लिए)
  • [ ] लॉगप्रॉब्स

समर्थित अनुरोध फ़ील्ड्स

  • [x] model
  • [x] messages
    • [x] टेक्स्ट content
    • [x] इमेज content
      • [x] बेस64 एन्कोडेड इमेज
      • [ ] इमेज URL
    • [x] content पार्टों का ऐरे
  • [x] frequency_penalty
  • [x] presence_penalty
  • [x] response_format
  • [x] seed
  • [x] stop
  • [x] stream
  • [x] stream_options
    • [x] include_usage
  • [x] temperature
  • [x] top_p
  • [x] max_tokens
  • [x] tools
  • [x] reasoning_effort ("high", "medium", "low", "max", "none")
  • [x] reasoning
    • [x] effort ("high", "medium", "low", "max", "none")
  • [ ] tool_choice
  • [ ] logit_bias
  • [ ] user
  • [ ] n

/v1/completions

समर्थित सुविधाएँ

  • [x] पूर्णता
  • [x] स्ट्रीमिंग
  • [x] JSON मोड
  • [x] पुनरुत्पादन योग्य आउटपुट
  • [ ] लॉगप्रॉब्स

समर्थित अनुरोध फ़ील्ड्स

  • [x] model
  • [x] prompt
  • [x] frequency_penalty
  • [x] presence_penalty
  • [x] seed
  • [x] stop
  • [x] stream
  • [x] stream_options
    • [x] include_usage
  • [x] temperature
  • [x] top_p
  • [x] max_tokens
  • [x] suffix
  • [ ] best_of
  • [ ] echo
  • [ ] logit_bias
  • [ ] user
  • [ ] n

नोट्स

  • prompt वर्तमान में केवल स्ट्रिंग स्वीकार करता है

/v1/models

नोट्स

  • created मॉडल के अंतिम बार संशोधित होने के समय से मेल खाता है
  • owned_by ओलामा उपयोगकर्ता नाम से मेल खाता है, डिफ़ॉल्ट रूप से "library" होता है

/v1/models/{model}

नोट्स

  • created मॉडल के अंतिम बार संशोधित होने के समय से मेल खाता है
  • owned_by ओलामा उपयोगकर्ता नाम से मेल खाता है, डिफ़ॉल्ट रूप से "library" होता है

/v1/embeddings

समर्थित अनुरोध फ़ील्ड्स

  • [x] model
  • [x] input
    • [x] स्ट्रिंग
    • [x] स्ट्रिंगों का ऐरे
    • [ ] टोकनों का ऐरे
    • [ ] टोकन ऐरों का ऐरे
  • [x] encoding format
  • [x] dimensions
  • [ ] user

/v1/images/generations (प्रायोगिक)

नोट: यह एंडपॉइंट प्रायोगिक है और भविष्य के संस्करणों में बदल या हटा दिया जा सकता है।

इमेज जनरेशन मॉडल का उपयोग करके इमेजें जनरेट करें।

समर्थित अनुरोध फ़ील्ड्स

  • [x] model
  • [x] prompt
  • [x] size (उदाहरण "1024x1024")
  • [x] response_format (केवल b64_json समर्थित)
  • [ ] n
  • [ ] quality
  • [ ] style
  • [ ] user

/v1/responses

नोट: ओलामा v0.13.3 में जोड़ा गया

ओलामा OpenAI Responses API का समर्थन करता है। केवल नॉन-स्टेटफुल फ्लेवर का ही समर्थन किया जाता है (अर्थात, previous_response_id या conversation का समर्थन नहीं है)।

समर्थित सुविधाएँ

  • [x] स्ट्रीमिंग
  • [x] टूल्स (फ़ंक्शन कॉलिंग)
  • [x] तर्क सारांश (थिंकिंग मॉडल के लिए)
  • [ ] स्टेटफुल अनुरोध

समर्थित अनुरोध फ़ील्ड्स

  • [x] model
  • [x] input
  • [x] instructions
  • [x] tools
  • [x] stream
  • [x] temperature
  • [x] top_p
  • [x] max_output_tokens
  • [ ] previous_response_id (स्टेटफुल v1/responses का समर्थन नहीं है)
  • [ ] conversation (स्टेटफुल v1/responses का समर्थन नहीं है)
  • [ ] truncation

मॉडल्स

किसी मॉडल का उपयोग करने से पहले, इसे स्थानीय रूप से पुल करें ollama pull:

shell
ollama pull llama3.2

डिफ़ॉल्ट मॉडल नाम

उन टूलिंग के लिए जो gpt-3.5-turbo जैसे डिफ़ॉल्ट OpenAI मॉडल नामों पर निर्भर करती है, मौजूदा मॉडल नाम को एक अस्थायी नाम में कॉपी करने के लिए ollama cp का उपयोग करें:

shell
ollama cp llama3.2 gpt-3.5-turbo

इसके बाद, इस नए मॉडल नाम को model फ़ील्ड में निर्दिष्ट किया जा सकता है:

shell
curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "gpt-3.5-turbo",
        "messages": [
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'

कॉन्टेक्ट साइज सेट करना

OpenAI API में मॉडल के लिए कॉन्टेक्ट साइज सेट करने का कोई तरीका नहीं है। यदि आपको कॉन्टेक्ट साइज बदलने की आवश्यकता है, तो एक Modelfile बनाएं जो इस तरह दिखता है:

FROM <some model>
PARAMETER num_ctx <context size>

अपडेटेड कॉन्टेक्ट साइज के साथ एक नया मॉडल बनाने के लिए ollama create mymodel कमांड का उपयोग करें। अपडेटेड मॉडल नाम के साथ API को कॉल करें:

shell
curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mymodel",
        "messages": [
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'