Streaming

Generierte Ausgabe schrittweise über Server-Sent Events empfangen.

Stream öffnen

Bei Chat Completions stream auf true setzen. SDK-Iteratoren übernehmen das SSE-Format. cURL zeigt den unverarbeiteten Stream ohne Ausgabepufferung.

curl

curl --request POST --no-buffer \
  --url 'https://api.tokenlane.de/v1/chat/completions' \
  --header 'Authorization: Bearer YOUR_API_KEY' \
  --header 'Content-Type: application/json' \
  --data '{
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}'

node

import OpenAI from 'openai';

const client = new OpenAI({ baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY });
const response = await client.chat.completions.create({
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}, {});
for await (const chunk of response) {
  if (chunk.error) throw new Error('Stream failed');
  process.stdout.write(chunk.choices?.[0]?.delta?.content ?? '');
}

python

import os
import json
from openai import OpenAI

client = OpenAI(base_url="https://api.tokenlane.de/v1", api_key=os.environ["TOKENLANE_API_KEY"])
body = json.loads(r'''{
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "stream": true,
  "stream_options": {
    "include_usage": true
  }
}''')
response = client.chat.completions.create(
    model=body["model"],
    messages=body["messages"],
    max_tokens=body["max_tokens"],
    stream=body["stream"],
    stream_options=body["stream_options"]
)
for chunk in response:
    if getattr(chunk, 'error', None):
        raise RuntimeError('Stream failed')
    print(chunk.choices[0].delta.content or '' if chunk.choices else '', end='', flush=True)

vercel

import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';

const tokenlane = createOpenAICompatible({ name: 'tokenlane', baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY, includeUsage: true });
const result = streamText({
  model: tokenlane("deepseek/deepseek-v4-flash-0731"),
  messages: [
  {
    "role": "user",
    "content": "Hello"
  }
],
  maxOutputTokens: 400,
});
for await (const part of result.fullStream) {
  if (part.type === 'error') throw new Error('Stream failed');
  if (part.type === 'text-delta') process.stdout.write(part.text);
}

Ereignisse sicher lesen

Transportblöcke sind keine Ereignisgrenzen. Ein eigener Parser puffert unvollständige Ereignisse, verbindet mehrere data:-Zeilen, ignoriert mit : beginnende Kommentare und erkennt data: [DONE]. Nutzungsereignisse können ohne generierten Text eintreffen. Vor dem Inhalt das Feld error prüfen. HTTP 200 allein belegt keine erfolgreiche Generierung.

Abbruch und Fehler behandeln

Die SDK-Anfrage abbrechen oder die HTTP-Verbindung schließen. Das Gateway verwirft daraufhin seine Upstream-Anfrage. HTTP-Fehler vor Beginn und Fehlerereignisse im laufenden Stream getrennt behandeln. Ein begonnener Stream wechselt nicht automatisch zu einem anderen Provider. Wiederholungen nach Teilausgabe können Ausgabe und Kosten verdoppeln. Weiter mit Fehler und Wiederholung.