Skip to content

Ollama, mevcut uygulamaları Ollama'ya bağlamaya yardımcı olmak için OpenAI API'nin bazı bölümleriyle uyumluluk sağlar.

Kullanım

Basit /v1/chat/completions örneği

Basit /v1/responses örneği

/v1/chat/completions görme özelliği örneği

Uç Noktalar

/v1/chat/completions

Desteklenen özellikler

  • [x] Sohbet tamamlamaları
  • [x] Akış
  • [x] JSON modu
  • [x] Tekrarlanabilir çıktılar
  • [x] Görü
  • [x] Araçlar
  • [x] Akıl yürütme/düşünme kontrolü (düşünen modeller için)
  • [ ] Logprobs

Desteklenen istek alanları

  • [x] model
  • [x] messages
    • [x] Metin content
    • [x] Görüntü content
      • [x] Base64 kodlu görüntü
      • [ ] Görüntü URL'si
    • [x] content parçaları dizisi
  • [x] frequency_penalty
  • [x] presence_penalty
  • [x] response_format
  • [x] seed
  • [x] stop
  • [x] stream
  • [x] stream_options
    • [x] include_usage
  • [x] temperature
  • [x] top_p
  • [x] max_tokens
  • [x] tools
  • [x] reasoning_effort ("high", "medium", "low", "max", "none")
  • [x] reasoning
    • [x] effort ("high", "medium", "low", "max", "none")
  • [ ] tool_choice
  • [ ] logit_bias
  • [ ] user
  • [ ] n

/v1/completions

Desteklenen özellikler

  • [x] Tamamlamalar
  • [x] Akış
  • [x] JSON modu
  • [x] Tekrarlanabilir çıktılar
  • [ ] Logprobs

Desteklenen istek alanları

  • [x] model
  • [x] prompt
  • [x] frequency_penalty
  • [x] presence_penalty
  • [x] seed
  • [x] stop
  • [x] stream
  • [x] stream_options
    • [x] include_usage
  • [x] temperature
  • [x] top_p
  • [x] max_tokens
  • [x] suffix
  • [ ] best_of
  • [ ] echo
  • [ ] logit_bias
  • [ ] user
  • [ ] n

Notlar

  • prompt şu anda yalnızca dizeyi kabul eder

/v1/models

Notlar

  • created, modelin en son değiştirildiği zamanı ifade eder
  • owned_by, varsayılan olarak "library" olan ollama kullanıcı adını ifade eder

/v1/models/{model}

Notlar

  • created, modelin en son değiştirildiği zamanı ifade eder
  • owned_by, varsayılan olarak "library" olan ollama kullanıcı adını ifade eder

/v1/embeddings

Desteklenen istek alanları

  • [x] model
  • [x] input
    • [x] dize
    • [x] dize dizisi
    • [ ] jeton dizisi
    • [ ] jeton dizileri dizisi
  • [x] encoding format
  • [x] dimensions
  • [ ] user

/v1/images/generations (deneysel)

Not: Bu uç nokta deneyseldir ve gelecek sürümlerde değiştirilebilir veya kaldırılabilir.

Görüntü üretme modellerini kullanarak görüntüler oluşturun.

Desteklenen istek alanları

  • [x] model
  • [x] prompt
  • [x] size (ör. "1024x1024")
  • [x] response_format (yalnızca b64_json desteklenir)
  • [ ] n
  • [ ] quality
  • [ ] style
  • [ ] user

/v1/responses

Not: Ollama v0.13.3 sürümünde eklendi

Ollama, OpenAI Responses API'yi destekler. Yalnızca durumsuz tür desteklenir (yani previous_response_id veya conversation desteği yoktur).

Desteklenen özellikler

  • [x] Akış
  • [x] Araçlar (fonksiyon çağırma)
  • [x] Akıl yürütme özetleri (düşünen modeller için)
  • [ ] Durumlu istekler

Desteklenen istek alanları

  • [x] model
  • [x] input
  • [x] instructions
  • [x] tools
  • [x] stream
  • [x] temperature
  • [x] top_p
  • [x] max_output_tokens
  • [ ] previous_response_id (durumlu v1/responses desteklenmiyor)
  • [ ] conversation (durumlu v1/responses desteklenmiyor)
  • [ ] truncation

Modeller

Bir modeli kullanmadan önce, yerel olarak ollama pull komutuyla çekin:

shell
ollama pull llama3.2

Varsayılan model adları

gpt-3.5-turbo gibi varsayılan OpenAI model adlarına güvenen araçlar için, mevcut bir model adını geçici bir ada kopyalamak üzere ollama cp komutunu kullanın:

shell
ollama cp llama3.2 gpt-3.5-turbo

Daha sonra bu yeni model adı model alanında belirtilebilir:

shell
curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "gpt-3.5-turbo",
        "messages": [
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'

Bağlam boyutunu ayarlama

OpenAI API, bir model için bağlam boyutunu ayarlamanın bir yoluna sahip değildir. Bağlam boyutunu değiştirmeniz gerekiyorsa, aşağıdaki gibi bir Modelfile oluşturun:

FROM <some model>
PARAMETER num_ctx <context size>

Güncellenmiş bağlam boyutuna sahip yeni bir model oluşturmak için ollama create mymodel komutunu kullanın. API'yi güncellenmiş model adıyla çağırın:

shell
curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mymodel",
        "messages": [
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'