# Routing und Fallbacks

Unter zulässigen Routen wählen, ohne Organisations-, Workspace- oder Key-Regeln abzuschwächen.

## Reihenfolge auswählen

`provider.sort` unterstützt `price`, `latency` und `throughput`. Eine ausdrückliche Provider-Reihenfolge hat Vorrang.

Das Beispiel wählt den Preis und erlaubt Fallback. Das Gateway prüft weiterhin Funktionen, Zustand, Datenschutz und geltende Regeln jeder Route.

### curl

```curl
curl --request POST \
  --url 'https://api.tokenlane.de/v1/chat/completions' \
  --header 'Authorization: Bearer YOUR_API_KEY' \
  --header 'Content-Type: application/json' \
  --data '{
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "provider": {
    "sort": "price",
    "allow_fallbacks": true
  }
}'
```

### node

```node
import OpenAI from 'openai';

const client = new OpenAI({ baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY });
const response = await client.chat.completions.create({
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "provider": {
    "sort": "price",
    "allow_fallbacks": true
  }
}, {});
console.log(response);
```

### python

```python
import os
import json
from openai import OpenAI

client = OpenAI(base_url="https://api.tokenlane.de/v1", api_key=os.environ["TOKENLANE_API_KEY"])
body = json.loads(r'''{
  "model": "deepseek/deepseek-v4-flash-0731",
  "messages": [
    {
      "role": "user",
      "content": "Hello"
    }
  ],
  "max_tokens": 400,
  "provider": {
    "sort": "price",
    "allow_fallbacks": true
  }
}''')
response = client.chat.completions.create(
    model=body["model"],
    messages=body["messages"],
    max_tokens=body["max_tokens"],
    extra_body=json.loads(r'''{
  "provider": {
    "sort": "price",
    "allow_fallbacks": true
  }
}''')
)
print(response)
```

### vercel

```vercel
import { createOpenAICompatible } from '@ai-sdk/openai-compatible';
import { generateText } from 'ai';

const tokenlane = createOpenAICompatible({ name: 'tokenlane', baseURL: "https://api.tokenlane.de/v1", apiKey: process.env.TOKENLANE_API_KEY, includeUsage: true });
const result = await generateText({
  model: tokenlane("deepseek/deepseek-v4-flash-0731"),
  messages: [
  {
    "role": "user",
    "content": "Hello"
  }
],
  maxOutputTokens: 400,
  providerOptions: { tokenlane: {
  "provider": {
    "sort": "price",
    "allow_fallbacks": true
  }
} },
});
console.log(result.text);
```

## Tarifvarianten ausdrücklich wählen

`GET /v1/models` nennt den genauen Endpunkt-Tag jeder Route in `routes[].tag`. Um eine Tarifvariante zu verwenden, diesen Tag in `provider.only` oder `provider.order` angeben. Ein Providername allein wählt die Standardroute. In einem eigenen Request steht `YOUR_ENDPOINT_TAG` deshalb für den tatsächlich veröffentlichten Tag, nicht für einen zusätzlichen Modellnamen.

- Tarifvarianten werden nicht automatisch über Fallback oder `provider.sort` ausgewählt.
- Sie zählen nicht zum allgemeinen Modellpreis im Katalog.
- Ein Eintrag des Providers in `provider.ignore` schließt auch seine Varianten aus.
- Die ausdrückliche Tarifwahl hebt keine Modell-, Datenschutz- oder Key-Einschränkung auf.

## Einschränkungen erhalten

Provider-Erlaubnislisten, Ausschlüsse, Parameterunterstützung und Höchstpreise können die Auswahl verkleinern. Die API-Referenz beschreibt Format und EUR-Preiseinheiten genau. Eine leere zulässige Auswahl ergibt einen Fehler. Sie erlaubt weder das Verlassen der geforderten Region noch das Abschalten einer Key-Regel. Aktuelle Routengarantien stehen auf den [Modell-Detailseiten](https://tokenlane.de/models).

## Fallback-Grenze verstehen

Vor dem ersten Stream-Byte kann das Gateway eine andere zulässige Route versuchen. Danach beendet ein Upstream-Fehler den Stream, statt die Anfrage anderswo zu wiederholen. `allow_fallbacks: false` verhindert automatische Alternativen. Die Katalogreihenfolge garantiert keinen bestimmten Provider für jede Anfrage.

## Geerbte Routing-Regeln

Das Gateway schneidet Organisations-, Workspace- und Key-Policies vor der Anwendung von Request-Präferenzen. Die Verwaltung zeigt jede wirksame Regel mit ihrer Herkunft.

| Regel | Wirkung |
|---|---|
| `allowed_models`, `denied_models`, Providerlisten, `allowed_countries`, `min_compliance`, `require_zdr`, `deny_training` | Verkleinern die zulässige Routenauswahl |
| `default_sort`, `default_allow_fallbacks` | Liefern geerbte Standardwerte |
| `locked` | Verhindert, dass ein Request einen auf dieser Ebene gesetzten Standard überschreibt |

Ein widersprechender Request scheitert mit `403 permission_denied`.
