Деякі кінцеві точки API за замовчуванням повертають відповіді у режимі стрімінгу, наприклад /api/generate. Ці відповіді надаються у форматі JSON з розділенням новими рядками (тобто з типом вмісту application/x-ndjson). Наприклад:

{"model":"gemma4","created_at":"2025-10-26T17:15:24.097767Z","response":"That","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.109172Z","response":"'","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.121485Z","response":"s","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.132802Z","response":" a","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.143931Z","response":" fantastic","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.155176Z","response":" question","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.166576Z","response":"!","done":true, "done_reason": "stop"}

Вимкнення стрімінгу

Стрімінг можна вимкнути, додавши {"stream": false} до тіла запиту для будь-якої кінцевої точки, що підтримує стрімінг. У такому випадку відповіді повертатимуться у форматі application/json замість цього:

{"model":"gemma4","created_at":"2025-10-26T17:15:24.166576Z","response":"That's a fantastic question!","done":true}

Коли використовувати стрімінг, а коли — без стрімінгу

Стрімінг (за замовчуванням):

• Генерація відповідей у реальному часі
• Нижча сприймана затримка
• Краще підходить для довгих генерацій

Без стрімінгу:

• Простіший для обробки
• Краще підходить для коротких відповідей або структурованих результатів
• Простіший у використанні в деяких додатках