Routing und Fallbacks
Unter zulässigen Routen wählen, ohne Organisations-, Workspace- oder Key-Regeln abzuschwächen.
Reihenfolge auswählen
provider.sort unterstützt price, latency und throughput. Eine ausdrückliche Provider-Reihenfolge hat Vorrang.
Das Beispiel wählt den Preis und erlaubt Fallback. Das Gateway prüft weiterhin Funktionen, Zustand, Datenschutz und geltende Regeln jeder Route.
curl
curl --request POST \
--url 'https://api.tokenlane.de/v1/chat/completions' \
--header 'Authorization: Bearer YOUR_API_KEY' \
--header 'Content-Type: application/json' \
--data '{
"model": "deepseek/deepseek-v4-flash-0731",
"messages": [
{
"role": "user",
"content": "Hello"
}
],
"max_tokens": 400,
"provider": {
"sort": "price",
"allow_fallbacks": true
}
}'
node
import OpenAI from 'openai';
const client = new OpenAI({ baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY });
const response = await client.chat.completions.create({
"model": "deepseek/deepseek-v4-flash-0731",
"messages": [
{
"role": "user",
"content": "Hello"
}
],
"max_tokens": 400,
"provider": {
"sort": "price",
"allow_fallbacks": true
}
}, {});
console.log(response);
python
import os
import json
from openai import OpenAI
client = OpenAI(base_url="https://api.tokenlane.de/v1", api_key=os.environ["TOKENLANE_API_KEY"])
body = json.loads(r'''{
"model": "deepseek/deepseek-v4-flash-0731",
"messages": [
{
"role": "user",
"content": "Hello"
}
],
"max_tokens": 400,
"provider": {
"sort": "price",
"allow_fallbacks": true
}
}''')
response = client.chat.completions.create(
model=body["model"],
messages=body["messages"],
max_tokens=body["max_tokens"],
extra_body=json.loads(r'''{
"provider": {
"sort": "price",
"allow_fallbacks": true
}
}''')
)
print(response)
vercel
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';
const tokenlane = createOpenAICompatible({ name: 'tokenlane', baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY, includeUsage: true });
const result = await generateText({
model: tokenlane("deepseek/deepseek-v4-flash-0731"),
messages: [
{
"role": "user",
"content": "Hello"
}
],
maxOutputTokens: 400,
providerOptions: { tokenlane: {
"provider": {
"sort": "price",
"allow_fallbacks": true
}
} },
});
console.log(result.text);
Tarifvarianten ausdrücklich wählen
GET /v1/models nennt den genauen Endpunkt-Tag jeder Route in routes[].tag. Um eine Tarifvariante zu verwenden, diesen Tag in provider.only oder provider.order angeben. Ein Providername allein wählt die Standardroute. In einem eigenen Request steht YOUR_ENDPOINT_TAG deshalb für den tatsächlich veröffentlichten Tag, nicht für einen zusätzlichen Modellnamen.
- Tarifvarianten werden nicht automatisch über Fallback oder
provider.sortausgewählt. - Sie zählen nicht zum allgemeinen Modellpreis im Katalog.
- Ein Eintrag des Providers in
provider.ignoreschließt auch seine Varianten aus. - Die ausdrückliche Tarifwahl hebt keine Modell-, Datenschutz- oder Key-Einschränkung auf.
Einschränkungen erhalten
Provider-Erlaubnislisten, Ausschlüsse, Parameterunterstützung und Höchstpreise können die Auswahl verkleinern. Die API-Referenz beschreibt Format und EUR-Preiseinheiten genau. Eine leere zulässige Auswahl ergibt einen Fehler. Sie erlaubt weder das Verlassen der geforderten Region noch das Abschalten einer Key-Regel. Aktuelle Routengarantien stehen auf den Modell-Detailseiten.
Fallback-Grenze verstehen
Vor dem ersten Stream-Byte kann das Gateway eine andere zulässige Route versuchen. Danach beendet ein Upstream-Fehler den Stream, statt die Anfrage anderswo zu wiederholen. allow_fallbacks: false verhindert automatische Alternativen. Die Katalogreihenfolge garantiert keinen bestimmten Provider für jede Anfrage.
Geerbte Routing-Regeln
Das Gateway schneidet Organisations-, Workspace- und Key-Policies vor der Anwendung von Request-Präferenzen. Die Verwaltung zeigt jede wirksame Regel mit ihrer Herkunft.
| Regel | Wirkung |
|---|---|
allowed_models, denied_models, Providerlisten, allowed_countries, min_compliance, require_zdr, deny_training | Verkleinern die zulässige Routenauswahl |
default_sort, default_allow_fallbacks | Liefern geerbte Standardwerte |
locked | Verhindert, dass ein Request einen auf dieser Ebene gesetzten Standard überschreibt |
Ein widersprechender Request scheitert mit 403 permission_denied.