Skip to content

Ollama biedt compatibiliteit met delen van de OpenAI API om bestaande applicaties te helpen verbinden met Ollama.

Gebruik

Eenvoudig /v1/chat/completions voorbeeld

Eenvoudig /v1/responses voorbeeld

/v1/chat/completions met vision voorbeeld

Eindpunten

/v1/chat/completions

Ondersteunde functies

  • [x] Chatvoltooiingen
  • [x] Streaming
  • [x] JSON-modus
  • [x] Reproduceerbare uitvoer
  • [x] Vision
  • [x] Tools
  • [x] Redeneer-/denkcontrole (voor denkmodellen)
  • [ ] Logprobs

Ondersteunde aanvraagvelden

  • [x] model
  • [x] messages
    • [x] Tekst content
    • [x] Afbeelding content
      • [x] Base64-gecodeerde afbeelding
      • [ ] Afbeeldings-URL
    • [x] Array van content-onderdelen
  • [x] frequency_penalty
  • [x] presence_penalty
  • [x] response_format
  • [x] seed
  • [x] stop
  • [x] stream
  • [x] stream_options
    • [x] include_usage
  • [x] temperature
  • [x] top_p
  • [x] max_tokens
  • [x] tools
  • [x] reasoning_effort ("high", "medium", "low", "max", "none")
  • [x] reasoning
    • [x] effort ("high", "medium", "low", "max", "none")
  • [ ] tool_choice
  • [ ] logit_bias
  • [ ] user
  • [ ] n

/v1/completions

Ondersteunde functies

  • [x] Voltooiingen
  • [x] Streaming
  • [x] JSON-modus
  • [x] Reproduceerbare uitvoer
  • [ ] Logprobs

Ondersteunde aanvraagvelden

  • [x] model
  • [x] prompt
  • [x] frequency_penalty
  • [x] presence_penalty
  • [x] seed
  • [x] stop
  • [x] stream
  • [x] stream_options
    • [x] include_usage
  • [x] temperature
  • [x] top_p
  • [x] max_tokens
  • [x] suffix
  • [ ] best_of
  • [ ] echo
  • [ ] logit_bias
  • [ ] user
  • [ ] n

Opmerkingen

  • prompt accepteert momenteel alleen een tekenreeks

/v1/models

Opmerkingen

  • created komt overeen met de datum waarop het model voor het laatst is gewijzigd
  • owned_by komt overeen met de ollama-gebruikersnaam, standaard ingesteld op "library"

/v1/models/{model}

Opmerkingen

  • created komt overeen met de datum waarop het model voor het laatst is gewijzigd
  • owned_by komt overeen met de ollama-gebruikersnaam, standaard ingesteld op "library"

/v1/embeddings

Ondersteunde aanvraagvelden

  • [x] model
  • [x] input
    • [x] tekenreeks
    • [x] array van tekenreeksen
    • [ ] array van tokens
    • [ ] array van token-arrays
  • [x] encoding format
  • [x] dimensions
  • [ ] user

/v1/images/generations (experimenteel)

Opmerking: Dit eindpunt is experimenteel en kan in toekomstige versies gewijzigd of verwijderd worden.

Genereer afbeeldingen met behulp van afbeeldingsgeneratiemodellen.

Ondersteunde aanvraagvelden

  • [x] model
  • [x] prompt
  • [x] size (bijv. "1024x1024")
  • [x] response_format (alleen b64_json wordt ondersteund)
  • [ ] n
  • [ ] quality
  • [ ] style
  • [ ] user

/v1/responses

Opmerking: Toegevoegd in Ollama v0.13.3

Ollama ondersteunt de OpenAI Responses API. Alleen de niet-toestandsgebonden variant wordt ondersteund (dus er is geen ondersteuning voor previous_response_id of conversation).

Ondersteunde functies

  • [x] Streaming
  • [x] Tools (functie-oproepen)
  • [x] Redeneersamenvattingen (voor denkmodellen)
  • [ ] Toestandsgebonden aanvragen

Ondersteunde aanvraagvelden

  • [x] model
  • [x] input
  • [x] instructions
  • [x] tools
  • [x] stream
  • [x] temperature
  • [x] top_p
  • [x] max_output_tokens
  • [ ] previous_response_id (toestandsgebonden v1/responses niet ondersteund)
  • [ ] conversation (toestandsgebonden v1/responses niet ondersteund)
  • [ ] truncation

Modellen

Voordat u een model gebruikt, moet u het lokaal ophalen met ollama pull:

shell
ollama pull llama3.2

Standaard modelnamen

Voor tools die afhankelijk zijn van standaard OpenAI-modelnamen zoals gpt-3.5-turbo, gebruikt u ollama cp om een bestaande modelnaam naar een tijdelijke naam te kopiëren:

shell
ollama cp llama3.2 gpt-3.5-turbo

Daarna kan deze nieuwe modelnaam worden opgegeven in het model-veld:

shell
curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "gpt-3.5-turbo",
        "messages": [
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'

Contextgrootte instellen

De OpenAI API heeft geen mogelijkheid om de contextgrootte voor een model in te stellen. Als u de contextgrootte wilt wijzigen, maakt u een Modelfile die er als volgt uitziet:

FROM <some model>
PARAMETER num_ctx <context size>

Gebruik de opdracht ollama create mymodel om een nieuw model met de bijgewerkte contextgrootte te maken. Roep de API aan met de bijgewerkte modelnaam:

shell
curl http://localhost:11434/v1/chat/completions \
    -H "Content-Type: application/json" \
    -d '{
        "model": "mymodel",
        "messages": [
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'