# Streaming

Generierte Ausgabe schrittweise über Server-Sent Events empfangen.

## Stream öffnen

Bei Chat Completions `stream` auf `true` setzen. SDK-Iteratoren übernehmen das SSE-Format. cURL zeigt den unverarbeiteten Stream ohne Ausgabepufferung.

### curl

```curl
curl --request POST --no-buffer \
  --url 'https://api.tokenlane.de/v1/chat/completions' \
  --header 'Authorization: Bearer YOUR_API_KEY' \
  --header 'Content-Type: application/json' \
  --data '{
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}'
```

### node

```node
import OpenAI from 'openai';

const client = new OpenAI({ baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY });
const response = await client.chat.completions.create({
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}, {});
for await (const chunk of response) {
  if (chunk.error) throw new Error('Stream failed');
  process.stdout.write(chunk.choices?.[0]?.delta?.content ?? '');
}
```

### python

```python
import os
import json
from openai import OpenAI

client = OpenAI(base_url="https://api.tokenlane.de/v1", api_key=os.environ["TOKENLANE_API_KEY"])
body = json.loads(r'''{
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}''')
response = client.chat.completions.create(
    model=body["model"],
    messages=body["messages"],
    max_tokens=body["max_tokens"],
    stream=body["stream"],
    stream_options=body["stream_options"]
)
for chunk in response:
    if getattr(chunk, 'error', None):
        raise RuntimeError('Stream failed')
    print(chunk.choices[0].delta.content or '' if chunk.choices else '', end='', flush=True)
```

### vercel

```vercel
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const tokenlane = createOpenAICompatible({ name: 'tokenlane', baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY, includeUsage: true });
const result = streamText({
  model: tokenlane("deepseek/deepseek-v4-flash-0731"),
  messages: [
  {
    "role": "user",
    "content": "Hello"
  }
],
  maxOutputTokens: 400,
});
for await (const part of result.fullStream) {
  if (part.type === 'error') throw new Error('Stream failed');
  if (part.type === 'text-delta') process.stdout.write(part.text);
}
```

## Ereignisse sicher lesen

Transportblöcke sind keine Ereignisgrenzen. Ein eigener Parser puffert unvollständige Ereignisse, verbindet mehrere `data:`-Zeilen, ignoriert mit `:` beginnende Kommentare und erkennt `data: [DONE]`. Nutzungsereignisse können ohne generierten Text eintreffen. Vor dem Inhalt das Feld `error` prüfen. HTTP 200 allein belegt keine erfolgreiche Generierung.

## Abbruch und Fehler behandeln

Die SDK-Anfrage abbrechen oder die HTTP-Verbindung schließen. Das Gateway verwirft daraufhin seine Upstream-Anfrage. HTTP-Fehler vor Beginn und Fehlerereignisse im laufenden Stream getrennt behandeln. Ein begonnener Stream wechselt nicht automatisch zu einem anderen Provider. Wiederholungen nach Teilausgabe können Ausgabe und Kosten verdoppeln. Weiter mit [Fehler und Wiederholung](https://tokenlane.de/docs/guides/errors-and-retries.md?lang=de).
