Certains points de terminaison d'API diffusent les réponses en streaming par défaut, comme /api/generate. Ces réponses sont fournies au format JSON délimité par des sauts de ligne (c'est-à-dire le type de contenu application/x-ndjson). Par exemple :

{"model":"gemma4","created_at":"2025-10-26T17:15:24.097767Z","response":"That","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.109172Z","response":"'","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.121485Z","response":"s","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.132802Z","response":" a","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.143931Z","response":" fantastic","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.155176Z","response":" question","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.166576Z","response":"!","done":true, "done_reason": "stop"}

Désactivation du streaming

Le streaming peut être désactivé en fournissant {"stream": false} dans le corps de la requête pour tout point de terminaison prenant en charge le streaming. Les réponses seront alors renvoyées au format application/json à la place :

{"model":"gemma4","created_at":"2025-10-26T17:15:24.166576Z","response":"That's a fantastic question!","done":true}

Quand utiliser le streaming ou le mode sans streaming

Streaming (par défaut) :

• Génération de réponses en temps réel
• Latence perçue plus faible
• Plus adapté aux générations longues

Sans streaming :

• Plus simple à traiter
• Plus adapté aux réponses courtes ou aux sorties structurées
• Plus facile à gérer dans certaines applications