Ollama забезпечує сумісність з Anthropic Messages API, щоб допомогти підключити існуючі додатки до Ollama, включаючи такі інструменти, як Claude Code.

Використання

Змінні середовища

Щоб використовувати Ollama з інструментами, які очікують роботу з API Anthropic (наприклад, Claude Code), встановіть ці змінні середовища:

export ANTHROPIC_AUTH_TOKEN=ollama  # обов'язковий, але ігнорується
export ANTHROPIC_BASE_URL=http://localhost:11434

Простий приклад /v1/messages

client = anthropic.Anthropic(
    base_url='http://localhost:11434',
    api_key='ollama',  # required but ignored
)

message = client.messages.create(
    model='qwen3-coder',
    max_tokens=1024,
    messages=[
        {'role': 'user', 'content': 'Hello, how are you?'}
    ]
)
print(message.content[0].text)

const anthropic = new Anthropic({
  baseURL: "http://localhost:11434",
  apiKey: "ollama", // required but ignored
});

const message = await anthropic.messages.create({
  model: "qwen3-coder",
  max_tokens: 1024,
  messages: [{ role: "user", content: "Hello, how are you?" }],
});

console.log(message.content[0].text);

curl -X POST http://localhost:11434/v1/messages \
-H "Content-Type: application/json" \
-H "x-api-key: ollama" \
-H "anthropic-version: 2023-06-01" \
-d '{
  "model": "qwen3-coder",
  "max_tokens": 1024,
  "messages": [{ "role": "user", "content": "Hello, how are you?" }]
}'

Приклад потокового передавання

client = anthropic.Anthropic(
    base_url='http://localhost:11434',
    api_key='ollama',
)

with client.messages.stream(
    model='qwen3-coder',
    max_tokens=1024,
    messages=[{'role': 'user', 'content': 'Count from 1 to 10'}]
) as stream:
    for text in stream.text_stream:
        print(text, end='', flush=True)

const anthropic = new Anthropic({
  baseURL: "http://localhost:11434",
  apiKey: "ollama",
});

const stream = await anthropic.messages.stream({
  model: "qwen3-coder",
  max_tokens: 1024,
  messages: [{ role: "user", content: "Count from 1 to 10" }],
});

for await (const event of stream) {
  if (
    event.type === "content_block_delta" &&
    event.delta.type === "text_delta"
  ) {
    process.stdout.write(event.delta.text);
  }
}

curl -X POST http://localhost:11434/v1/messages \
-H "Content-Type: application/json" \
-d '{
  "model": "qwen3-coder",
  "max_tokens": 1024,
  "stream": true,
  "messages": [{ "role": "user", "content": "Count from 1 to 10" }]
}'

Приклад виклику інструментів

client = anthropic.Anthropic(
    base_url='http://localhost:11434',
    api_key='ollama',
)

message = client.messages.create(
    model='qwen3-coder',
    max_tokens=1024,
    tools=[
        {
            'name': 'get_weather',
            'description': 'Get the current weather in a location',
            'input_schema': {
                'type': 'object',
                'properties': {
                    'location': {
                        'type': 'string',
                        'description': 'The city and state, e.g. San Francisco, CA'
                    }
                },
                'required': ['location']
            }
        }
    ],
    messages=[{'role': 'user', 'content': "What's the weather in San Francisco?"}]
)

for block in message.content:
    if block.type == 'tool_use':
        print(f'Tool: {block.name}')
        print(f'Input: {block.input}')

const anthropic = new Anthropic({
  baseURL: "http://localhost:11434",
  apiKey: "ollama",
});

const message = await anthropic.messages.create({
  model: "qwen3-coder",
  max_tokens: 1024,
  tools: [
    {
      name: "get_weather",
      description: "Get the current weather in a location",
      input_schema: {
        type: "object",
        properties: {
          location: {
            type: "string",
            description: "The city and state, e.g. San Francisco, CA",
          },
        },
        required: ["location"],
      },
    },
  ],
  messages: [{ role: "user", content: "What's the weather in San Francisco?" }],
});

for (const block of message.content) {
  if (block.type === "tool_use") {
    console.log("Tool:", block.name);
    console.log("Input:", block.input);
  }
}

curl -X POST http://localhost:11434/v1/messages \
-H "Content-Type: application/json" \
-d '{
  "model": "qwen3-coder",
  "max_tokens": 1024,
  "tools": [
    {
      "name": "get_weather",
      "description": "Get the current weather in a location",
      "input_schema": {
        "type": "object",
        "properties": {
          "location": {
            "type": "string",
            "description": "The city and state"
          }
        },
        "required": ["location"]
      }
    }
  ],
  "messages": [{ "role": "user", "content": "What is the weather in San Francisco?" }]
}'

Використання з Claude Code

Claude Code може бути налаштований на використання Ollama як свого бекенду.

Рекомендовані моделі

Для завдань, пов'язаних з програмуванням, рекомендуються такі моделі, як glm-4.7, minimax-m2.1 та qwen3-coder.

Завантажте модель перед використанням:

ollama pull qwen3-coder

Примітка: Qwen 3 coder — це модель з 30 млрд параметрів, для стабільної роботи якої потрібно щонайменше 24 ГБ VRAM. Для більших довжин контексту потрібно більше пам'яті.

ollama pull glm-4.7:cloud

Швидке налаштування

ollama launch claude

Ця команда запропонує вам вибрати модель, автоматично налаштувати Claude Code та запустити його. Щоб налаштувати без запуску:

ollama launch claude --config

Ручне налаштування

Встановіть змінні середовища та запустіть Claude Code:

ANTHROPIC_AUTH_TOKEN=ollama ANTHROPIC_BASE_URL=http://localhost:11434 claude --model qwen3-coder

Або встановіть ці змінні середовища у профілі вашого оболонки:

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_BASE_URL=http://localhost:11434

Потім запустіть Claude Code з будь-якою моделлю Ollama:

claude --model qwen3-coder

Ендпоінти

/v1/messages

Підтримувані можливості

• [x] Повідомлення
• [x] Потокове передавання
• [x] Системні запити
• [x] Багатоходові розмови
• [x] Зір (зображення)
• [x] Інструменти (виклик функцій)
• [x] Результати роботи інструментів
• [x] Мислення/розширене мислення

Підтримувані поля запиту

• [x] model
• [x] max_tokens
• [x] messages
  • [x] Текстовий content
  • [x] Зображення content (base64)
  • [x] Масив блоків вмісту
  • [x] Блоки tool_use
  • [x] Блоки tool_result
  • [x] Блоки thinking
• [x] system (рядок або масив)
• [x] stream
• [x] temperature
• [x] top_p
• [x] top_k
• [x] stop_sequences
• [x] tools
• [x] thinking
• [ ] tool_choice
• [ ] metadata

Підтримувані поля відповіді

• [x] id
• [x] type
• [x] role
• [x] model
• [x] content (текстові блоки, блоки tool_use, блоки thinking)
• [x] stop_reason (end_turn, max_tokens, tool_use)
• [x] usage (input_tokens, output_tokens)

Події потокового передавання

• [x] message_start
• [x] content_block_start
• [x] content_block_delta (text_delta, input_json_delta, thinking_delta)
• [x] content_block_stop
• [x] message_delta
• [x] message_stop
• [x] ping
• [x] error

Моделі

Ollama підтримує як локальні, так і хмарні моделі.

Локальні моделі

Завантажте локальну модель перед використанням:

ollama pull qwen3-coder

Рекомендовані локальні моделі:

• qwen3-coder — Відмінно підходить для завдань, пов'язаних з програмуванням
• gpt-oss:20b — Потужна модель загального призначення

Хмарні моделі

Хмарні моделі доступні для використання одразу, без необхідності завантаження:

• glm-4.7:cloud — Високопродуктивна хмарна модель
• minimax-m2.1:cloud — Швидка хмарна модель

Назви моделей за замовчуванням

Для інструментів, які використовують стандартні назви моделей Anthropic, наприклад claude-3-5-sonnet, використовуйте команду ollama cp, щоб скопіювати назву існуючої моделі:

ollama cp qwen3-coder claude-3-5-sonnet

Після цього нову назву моделі можна вказати в полі model:

curl http://localhost:11434/v1/messages \
    -H "Content-Type: application/json" \
    -d '{
        "model": "claude-3-5-sonnet",
        "max_tokens": 1024,
        "messages": [
            {
                "role": "user",
                "content": "Hello!"
            }
        ]
    }'

Відмінності від API Anthropic

Відмінності в поведінці

• Ключ API приймається, але не перевіряється
• Заголовок anthropic-version приймається, але не використовується
• Кількості токенів є приблизними і базуються на токенізаторі базової моделі

Не підтримується

Наступні можливості API Anthropic наразі не підтримуються:

Можливість	Опис
/v1/messages/count_tokens	Ендпоінт підрахунку токенів
tool_choice	Примусове використання певного інструменту або вимкнення інструментів
metadata	Метадані запиту (user_id)
Кешування промптів	Блоки cache_control для кешування префіксів
API пакетів	/v1/messages/batches для асинхронної пакетної обробки
Цитати	Блоки вмісту citations
Підтримка PDF	Блоки вмісту document з PDF-файлами
Помилки, відправлені сервером	Події error під час потокового передавання (помилки повертають HTTP-статус)

Часткова підтримка

Можливість	Статус
Вміст із зображеннями	Зображення в base64 підтримуються; зображення за URL не підтримуються
Розширене мислення	Базова підтримка; budget_tokens приймається, але не примусово застосовується