Observability mit Langfuse
Jede Generation als Trace in Ihr Langfuse-Projekt senden, mit Modell, Tokens, Kosten in USD, Nutzer, Sitzung und Metadaten, ohne eigenes Mapping.
Langfuse-Ziel einrichten
- In Langfuse in den Projekteinstellungen ein API-Schlüsselpaar anlegen (
pk-lf-…,sk-lf-…). - In den Observability-Einstellungen Langfuse als Zielart, die Region und beide Schlüssel wählen, speichern und einen Test-Trace senden. Der Test erscheint in Langfuse als Tokenlane connection test.
- Den Export einschalten. Ab dann werden neue Nutzungsbelege zugestellt; ältere Belege werden nicht gesendet.
Tokenlane bildet URL (/api/public/otel/v1/traces), Basic-Zugang und Ingestion-Header selbst. Der Secret Key wird verschlüsselt gespeichert, nie wieder angezeigt und nie auditiert.
- EU (
cloud.langfuse.com) ist die Voreinstellung. US (us.cloud.langfuse.com) verarbeitet Ihre Daten außerhalb der EU. - Selbst betriebenes Langfuse braucht eine öffentliche HTTPS-Basis-URL; private und lokale Adressen werden abgelehnt.
Was in Langfuse erscheint
Jede Generation ist eine Observation vom Typ generation (embedding bei Embeddings, sonst span) mit:
- Modell (
langfuse.observation.model.name), Eingabe-, Ausgabe-, Cache- und Reasoning-Tokens aus den OpenTelemetry-GenAI-Attributen - Zeit bis zum ersten Token bei Streaming (
langfuse.observation.completion_start_time) - Stufe
ERRORmit dem Fehlertyp als Statusmeldung bei fehlgeschlagenen Requests,WARNINGbei abgebrochenen - Trace-Name aus Ihrem
trace.trace_name, sonst Operation und Modell - Nutzer (
user), Sitzung (session_id), Tags austrace.tags, wenn das eine Liste von Texten ist, Ihre Metadaten als filterbarelangfuse.trace.metadata.<key>und die Umgebung ausmetadata.environment
Prompts und Antworten erscheinen nur mit dem eingewilligten Inhaltsexport; siehe Datenschutz und Compliance.
Kosten in USD
Langfuse speichert und zeigt Kosten nur in USD. Tokenlane rechnet den EUR-Betrag jeder Generation zum öffentlichen EZB-Referenzkurs um, der mit dem Beleg gespeichert ist, und sendet ihn als langfuse.observation.cost_details (total). Der interne Kurs für die Abrechnung in anderen Währungen wird nie gesendet. Die Metadaten der Observation tragen immer den EUR-Betrag (cost_eur) und mit Kurs zusätzlich fx_usd_per_eur, fx_version und fx_as_of.
Ohne EZB-Kurs für den Request oder bei unbekannten Kosten werden keine USD-Kosten gesendet, nur die EUR-Metadaten bleiben. Langfuse schätzt dann eventuell aus eigenen Modelldefinitionen. Um das abzuschalten, in Langfuse eine Modelldefinition anlegen, die auf Ihre Modellnamen passt und den Preis 0 hat.
An Trace des Aufrufers anhängen
Langfuse-Ziele starten mit ausgeschaltetem An Trace des Aufrufers anhängen: Jede Generation ist die Wurzel ihres eigenen Traces und Langfuse zeigt sie vollständig. Schalten Sie es nur ein, wenn Ihre Anwendung eigene OpenTelemetry-Spans an dasselbe Langfuse-Projekt sendet; dann macht ein gültiger W3C-traceparent die Generation zum Kind Ihres Spans.