Evaluation und Nachweise /
Decision Index: Die Messgrundlage vor der Rangliste lesen
Ein Team will das Entscheidungsmodell seines Agenten wechseln und legt eine Rangliste auf den Tisch. Bevor es den ersten Platz übernimmt, braucht es die Aufgaben und die Regeln hinter dieser Zahl.
Das am 2026-09-22 angelegte Decision Index Repository macht diese Grundlage zugänglich und beschreibt einen Weg zur eigenen Wiederholung.
Was sich nachlesen lässt
Apolinário Passos veröffentlicht ein Reproduktionspaket für typisierte Modellentscheidungen. Das README nennt 132.422 Anfragen aus 37 Benchmarks; 19 Benchmarks fließen in den Index ein. Die Auswertung mittelt zunächst innerhalb von fünf Bereichen und gewichtet diese anschließend gleich. Unbeantwortete Anfragen zählen als Fehler. Die Zahl an der Spitze hängt damit auch von Entscheidungen über Auswahl und Gewichtung ab.
Worauf ich den Vergleich begrenzen würde
Das Repository enthält ein Manifest für 442 bei der Auswertung ausgeschlossene Request IDs. Diese Ausschlüsse gelten laut Dokumentation für alle Engines. Für einen Wechsel im eigenen Agenten würde ich zunächst die betroffenen Aufgaben und Fehlerarten auswählen und die bisherige Variante unter denselben Bedingungen gegenprüfen. Ein zusammengefasster Index kann eine Schwäche bei genau dem Werkzeugaufruf verdecken, den der eigene Ablauf ständig braucht. Unsere Redaktion hat das Paket gelesen und keine Messreihe reproduziert.
Die Lizenzgrenze bleibt beim Material
Der Code steht unter MIT; die Dokumentation führt für die verwendeten Datensätze eigene Bedingungen auf. Bei ANLI nennt sie etwa CC BY-NC 4.0, bei anderen Quellen zusätzliche oder ungeklärte Bedingungen. Die MIT Lizenz des Reproduktionspakets überträgt sich ausdrücklich nicht auf diese Inhalte. Vor einer Weitergabe müsste das Team deshalb für jeden übernommenen Datensatz die Originalbedingungen prüfen und festhalten, welche Dateien es tatsächlich verteilt.
QUELLEN UND STAND / GEPRÜFT 2026-09-22
MATHIAS HEINKE