Streaming

Was ist Streaming?

Bei klassischen API-Anfragen wartet der Client, bis das Modell die komplette Antwort generiert hat – erst dann kommt alles auf einmal an. Das kann je nach Antwortlänge mehrere Sekunden dauern. Streaming löst dieses Problem, indem jeder generierte Token sofort übertragen wird, sobald er verfügbar ist.

Das Ergebnis: Die Antwort erscheint Wort für Wort in der UI – genau wie beim ChatGPT-Interface.

Wie funktioniert Streaming technisch?

Streaming basiert meist auf Server-Sent Events (SSE) oder chunked HTTP responses. Die API sendet einen kontinuierlichen Datenstrom, den der Client liest und inkrementell verarbeitet.

Code-Beispiel mit OpenAI SDK (Python)

from openai import OpenAI

client = OpenAI()

stream = client.chat.completions.create(
    model="gpt-4o",
    messages=[{"role": "user", "content": "Erkläre Streaming in 3 Sätzen."}],
    stream=True  # Streaming aktivieren
)

for chunk in stream:
    delta = chunk.choices[0].delta.content
    if delta:
        print(delta, end="", flush=True)

Wann sollte ich Streaming verwenden?

Szenario	Streaming sinnvoll?
Chat-Interface / Chatbot	✅ Ja, verbessert UX deutlich
Kurze, schnelle Antworten	⚠️ Optional
Batch-Verarbeitung im Backend	❌ Eher nicht nötig
Lange Texte / Zusammenfassungen	✅ Ja, reduziert wahrgenommene Latenz

Wichtige Hinweise für die Praxis

• Token-Zählung ist beim Streaming schwieriger – du erhältst die usage-Daten oft erst am Ende des Streams.
• Error Handling muss angepasst werden, da Fehler mitten im Stream auftreten können.
• Frameworks wie LangChain oder Vercel AI SDK abstrahieren Streaming und machen die Integration einfacher.
• Streaming verbessert die wahrgenommene Latenz erheblich, auch wenn die Gesamtgenerierungszeit gleich bleibt.