Evaluation und Kontrolle /
pijev: Wie viel entscheidet die Reihenfolge der Optionen?
Ein Agent soll eine Anfrage dem richtigen Team zuordnen. Die Kategorien bleiben gleich, doch ein Entwickler stellt ihre Reihenfolge um. Genau an dieser unscheinbaren Stelle setzt das am 2026-09-22 angelegte Projekt pijev an.
Die Reihenfolge gehört in den Testaufbau, sobald ein Modell zwischen vorgegebenen Möglichkeiten entscheidet.
Mehrere Anordnungen in einer Anfrage
pijev umhüllt die TypeSafe Schnittstelle und mittelt die zurückgegebenen Wahrscheinlichkeiten verschiedener Anordnungen. Drei Optionen ergeben sechs Permutationen; standardmäßig nutzt das Paket bis zu acht unterschiedliche Reihenfolgen. Der gemeinsame Kontext wird einmal übertragen. Die zusätzliche Entscheidungslast verschwindet dadurch nicht, und der erforderliche API Zugang kann Kosten verursachen. Der Code steht unter Apache 2.0.
Was der mathematische Nachweis trägt
Das README begrenzt die Garantie auf konvexe Verlustmaße gegenüber dem Mittel der einbezogenen Einzelprognosen. Daraus folgt keine allgemeine Garantie, dass die ausgewählte Antwort richtig ist oder die Wahrscheinlichkeiten zuverlässig kalibriert sind. Auch die gezeigten Projektbeispiele ersetzen keinen Vergleich mit bekannten richtigen Zuordnungen. Wir haben Dokumentation und Lizenz geprüft; eine eigene Messreihe liegt nicht vor.
So würde ich den Versuch abgrenzen
Ein Entwicklungsteam könnte dieselben bereits fachlich zugeordneten Anfragen mit und ohne Mittelung auswerten. Dabei bleiben Modell und Kategorienbeschreibungen gleich; nur die Anordnung und ihre Zusammenfassung ändern sich. Ich würde besonders die Fälle ansehen, in denen eine hohe Wahrscheinlichkeit zur falschen Weiterleitung führt. Für jeden Fall gehören richtige Kategorie und Modellantwort ins Protokoll. Erst wenn die Fehlzuordnungen sinken und der zusätzliche Aufwand vertretbar bleibt, bekommt die Variante einen begrenzten Einsatzbereich.
QUELLEN UND STAND / GEPRÜFT 2026-09-23
MATHIAS HEINKE