Bestimmte API-Endpunkte geben Antworten standardmäßig als Stream aus, beispielsweise /api/generate. Diese Antworten werden im newline-delimited JSON-Format (also dem Inhaltstyp application/x-ndjson) bereitgestellt. Beispiel:

{"model":"gemma4","created_at":"2025-10-26T17:15:24.097767Z","response":"That","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.109172Z","response":"'","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.121485Z","response":"s","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.132802Z","response":" a","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.143931Z","response":" fantastic","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.155176Z","response":" question","done":false}
{"model":"gemma4","created_at":"2025-10-26T17:15:24.166576Z","response":"!","done":true, "done_reason": "stop"}

Streaming deaktivieren

Streaming kann deaktiviert werden, indem du {"stream": false} im Anfragekörper für jeden Endpunkt angibst, der Streaming unterstützt. Dadurch werden Antworten stattdessen im Format application/json zurückgegeben:

{"model":"gemma4","created_at":"2025-10-26T17:15:24.166576Z","response":"That's a fantastic question!","done":true}

Wann Streaming vs. Nicht-Streaming verwenden

Streaming (Standard):

• Echtzeit-Generierung von Antworten
• Geringere wahrgenommene Latenz
• Besser für lange Generierungen

Nicht-Streaming:

• Einfacher zu verarbeiten
• Besser für kurze Antworten oder strukturierte Ausgaben
• Einfacher in einigen Anwendungen zu handhaben