Datenquellen
LMArena
Die Benchmarkwerte stammen aus dem öffentlich verfügbaren Datensatz lmarena-ai/leaderboard-dataset auf Hugging Face. Tokenlane zeigt veröffentlichte Werte für ausdrücklich zugeordnete Modellvarianten.
Methode und Einordnung
In den Vergleichsarenen bewerten Menschen anonymisierte Modellantworten im direkten Vergleich. LMArena berechnet daraus Bradley-Terry-Ratings. Die oft als Arena-Elo bezeichneten Werte sind relative Bewertungen innerhalb einer Arena und Kategorie, keine Prozentwerte.
Konfidenzintervalle zeigen die Unsicherheit des veröffentlichten Ratings. Kleine Rangunterschiede sind bei überlappenden Intervallen kein verlässlicher Qualitätsabstand. Stimmenzahl, Rang und Gesamtzahl werden zusammen mit dem Veröffentlichungsdatum gezeigt. Die Ergebnisse ersetzen keine Bewertung für den eigenen Anwendungsfall.
Agent Arena verwendet separat ausgewiesene IPS-Schätzwerte mit Beobachtungs- und gegebenenfalls Sitzungszahlen. Diese Werte können negativ sein und dürfen nicht mit Bradley-Terry-Ratings oder Stimmenzahlen anderer Arenen gleichgesetzt werden.
Zuordnung und Aktualisierung
Varianten mit und ohne Reasoning bleiben getrennt. Alle importierten Kategorien sind über Arena-Auswahl und Kategorientabelle erreichbar. Der Katalog sortiert nach dem Rating der gewählten Arena für die erste bestätigte Variante und zeigt deren veröffentlichten Rang. Agent-IPS-Werte erscheinen nur auf der Modellseite. Ein mehrdeutiger oder fehlender Wert bleibt leer. Modelle ohne Zuordnung oder veröffentlichten Messwert haben keinen Benchmark-Abschnitt.
Der Datensatz wird serverseitig täglich abgerufen. Bei einem fehlgeschlagenen Abruf bleibt der letzte Stand mit seinem Veröffentlichungsdatum sichtbar. Vor jedem Import wird die Datensatzlizenz geprüft; eine andere Lizenz als CC BY 4.0 stoppt den Import. Werte werden nicht umgerechnet oder zu einem eigenen Gesamtscore kombiniert.
Wir zeigen veröffentlichte Ränge, Auszüge und zugeordnete Modellvarianten. Beschriftungen und Zahlenformate sind für Tokenlane angepasst; die Messwerte bleiben unverändert.