Weniger Wochenquota: Was Bellos Vergleich tatsächlich zeigt

Vier Aufgaben, zwei Konfigurationen

Der Projektvergleich setzt GPT-5.6 Sol mit xhigh ohne Bello gegen GPT-5.6 Luna mit xhigh als Coder, Abschlussprüfer und Gegenprüfer. Hinzu kommt eine Laufaufsicht mit Luna high. Vier Aufgaben wurden je dreimal pro Konfiguration ausgeführt. Das sind zwölf Läufe auf jeder Seite.

Die gemeldete Wochenquota sinkt von insgesamt 15,63 auf 5,27 Prozent. Der durchschnittliche Score liegt bei 48,10 beziehungsweise 48,80 Prozent. Dafür wächst die mittlere Laufzeit von 28 Minuten und 27 Sekunden auf eine Stunde, 49 Minuten und 44 Sekunden.

Der Vergleich liefert einen interessanten Betriebsansatz: Ein sparsameres Modell bekommt getrennte Prüfungen. Wie viel davon am Modellwechsel und wie viel am Ablauf liegt, lässt sich aus diesen beiden Konfigurationen nicht bestimmen. Die Quota-Zahl ist außerdem keine Dollarrechnung.

Der Logfilter ist ein anderer Versuch

Bello kann Werkzeugausgaben lokal mit einem ModernBERT-Modell kürzen. Es wählt Originaltext aus; die Prüfer bekommen die vollständige Ausgabe. Im getrennten Vergleich mit demselben Coder sinken die rechnerischen API-Kosten um 22 beziehungsweise 14,8 Prozent. Die Scores fallen dabei um rund 1,3 bis 1,7 Punkte.

Für Codex im Abo benötigt dieser Filter eine separat gepatchte Binärdatei. Vor einem Versuch wäre deshalb zunächst deren Quelle zu prüfen. Mein nächster Vergleich würde Modell und Aufgabe konstant halten und vollständige Fehlerausgaben mitführen. Erst danach lässt sich entscheiden, ob die kürzere Ausgabe den zusätzlichen Aufbau rechtfertigt.