Streaming
Generierte Ausgabe schrittweise über Server-Sent Events empfangen.
Stream öffnen
Bei Chat Completions stream auf true setzen. SDK-Iteratoren übernehmen das SSE-Format. cURL zeigt den unverarbeiteten Stream ohne Ausgabepufferung.
curl
curl --request POST --no-buffer \
--url 'https://api.tokenlane.de/v1/chat/completions' \
--header 'Authorization: Bearer YOUR_API_KEY' \
--header 'Content-Type: application/json' \
--data '{
"model": "deepseek/deepseek-v4-flash-0731",
"messages": [
{
"role": "user",
"content": "Hello"
}
],
"max_tokens": 400,
"stream": true,
"stream_options": {
"include_usage": true
}
}'
node
import OpenAI from 'openai';
const client = new OpenAI({ baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY });
const response = await client.chat.completions.create({
"model": "deepseek/deepseek-v4-flash-0731",
"messages": [
{
"role": "user",
"content": "Hello"
}
],
"max_tokens": 400,
"stream": true,
"stream_options": {
"include_usage": true
}
}, {});
for await (const chunk of response) {
if (chunk.error) throw new Error('Stream failed');
process.stdout.write(chunk.choices?.[0]?.delta?.content ?? '');
}
python
import os
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.tokenlane.de/v1", api_key=os.environ["TOKENLANE_API_KEY"])
body = json.loads(r'''{
"model": "deepseek/deepseek-v4-flash-0731",
"messages": [
{
"role": "user",
"content": "Hello"
}
],
"max_tokens": 400,
"stream": true,
"stream_options": {
"include_usage": true
}
}''')
response = client.chat.completions.create(
model=body["model"],
messages=body["messages"],
max_tokens=body["max_tokens"],
stream=body["stream"],
stream_options=body["stream_options"]
)
for chunk in response:
if getattr(chunk, 'error', None):
raise RuntimeError('Stream failed')
print(chunk.choices[0].delta.content or '' if chunk.choices else '', end='', flush=True)
vercel
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { streamText } from 'ai';
const tokenlane = createOpenAICompatible({ name: 'tokenlane', baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY, includeUsage: true });
const result = streamText({
model: tokenlane("deepseek/deepseek-v4-flash-0731"),
messages: [
{
"role": "user",
"content": "Hello"
}
],
maxOutputTokens: 400,
});
for await (const part of result.fullStream) {
if (part.type === 'error') throw new Error('Stream failed');
if (part.type === 'text-delta') process.stdout.write(part.text);
}
Ereignisse sicher lesen
Transportblöcke sind keine Ereignisgrenzen. Ein eigener Parser puffert unvollständige Ereignisse, verbindet mehrere data:-Zeilen, ignoriert mit : beginnende Kommentare und erkennt data: [DONE]. Nutzungsereignisse können ohne generierten Text eintreffen. Vor dem Inhalt das Feld error prüfen. HTTP 200 allein belegt keine erfolgreiche Generierung.
Abbruch und Fehler behandeln
Die SDK-Anfrage abbrechen oder die HTTP-Verbindung schließen. Das Gateway verwirft daraufhin seine Upstream-Anfrage. HTTP-Fehler vor Beginn und Fehlerereignisse im laufenden Stream getrennt behandeln. Ein begonnener Stream wechselt nicht automatisch zu einem anderen Provider. Wiederholungen nach Teilausgabe können Ausgabe und Kosten verdoppeln. Weiter mit Fehler und Wiederholung.