Agenten und Nachweise /
Die Suche wird billiger. Die Aufgabe kostet mehr.
Ein Entwickler ergänzt seinen Programmieragenten um eine bessere Codesuche. Die Suche verbraucht weniger Geld, der Agent findet seine Ausgangspunkte, die Aufgabe läuft weiter. Erst beim Zusammenzählen fällt auf, dass die gesamte Bearbeitung teurer geworden ist. Diesen Verlauf dokumentiert das Projekt Jevgrep in seiner Auswertung vom 2026-09-28.
Eine günstigere Suche spart erst dann Geld für den Auftrag, wenn Nachsuche, Bearbeitung und Prüfung den Vorteil erhalten.
Drei Vergleiche mit unterschiedlichen Bezugspunkten
Jevgrep sucht Quellcode anhand einer Frage zum Verhalten des Programms. Es liefert Dateien und wörtliche Quellausschnitte mit Zeilenangaben; der aufrufende Agent bearbeitet anschließend die Aufgabe. Im README steht weiterhin eine Ersparnis von ungefähr 30 Prozent. Diese ältere Zahl betrifft allein den Programmieragenten Sol gegenüber einem Lauf ohne Jevgrep und lässt die Jev-Suchkosten außen vor. Ein gesonderter Durchlauf mit Version 0.4.3 nennt 25,8 Prozent geringere Gesamtkosten einschließlich Jev. Der neue Vergleich zu 0.5.0 verwendet wiederum den festgehaltenen 0.4.3-Lauf als Bezugspunkt.
Was Version 0.5.0 tatsächlich erreichte
Der Projektbericht nennt bei zehn Aufgaben erneut acht erfolgreiche Lösungen und rund 59 Prozent geringere Jev-Kosten. Die Summe aus Sol und Jev liegt jedoch zwei bis drei Prozent höher. Größere Gruppen von Codebestandteilen und gemeinsam verwendete Suchkriterien reduzieren die Suchaufrufe. Zusätzliche Erkundung, Änderungen am Lösungsvorschlag und Prüfungen des Programmieragenten können diese Ersparnis anschließend aufzehren. Das Projekt akzeptierte den Aufpreis für diese Version; daraus entsteht weder ein gemessener Gesamtkostenvorteil noch ein statistischer Nachweis gleichwertiger Kosten.
Eine einzelne Aufgabe macht den Unterschied sichtbar
In den veröffentlichten Einzeldaten sinken beim Astropy-Fall die Jev-Kosten von etwa 0,150 auf 0,053 US-Dollar. Gleichzeitig steigt der Gesamtbetrag von ungefähr 0,494 auf 0,717 US-Dollar. Die Aufgabe gilt in beiden Fassungen als gelöst. Beim Django-Fall sinkt dagegen auch der Gesamtbetrag. Für die Auswahl eines Werkzeugs ist diese Streuung brauchbarer als eine isolierte Prozentzahl: Das Team kann nachsehen, welche Art Aufgabe zusätzliche Arbeit verursacht, und für seinen eigenen Vergleich einen ähnlichen Fall auswählen. Die Beträge stammen aus der Projektauswertung, nicht aus einer eigenen Messung.
Die Lücken bleiben Teil der Rechnung
Für 19 native Aufrufe im Scikit-learn-Fall fehlt eine Verbrauchsangabe. Die Auswertung rechnet sie deshalb mit einer vorsichtigen Obergrenze ein; auch ohne diesen Zuschlag liegt die bekannte Summe bereits über dem Vergleichslauf. Die Jev-Beträge beruhen auf veröffentlichten Listenpreisen, ohne Abgleich mit einer Rechnung. Hinzu kommen zehn wiederholt untersuchte Python-Aufgaben und jeweils ein erster Versuch. Das trägt einen begrenzten Projektbefund, keine allgemeine Ersparniszusage für andere Sprachen, Repositories oder Abonnements.
Ein überschaubarer Vergleich im eigenen Team
Ich würde einen bekannten Reparaturfall mit eindeutigem Abnahmetest festhalten und beide Varianten am selben Ausgangsstand vergleichen. In das Protokoll gehören Suche, Bearbeitung, Fehlversuche und abschließende Prüfung mit ihren jeweiligen Kosten. Cacheverbrauch und fehlende Angaben bleiben gesondert sichtbar; ein unbekannter Wert bekommt keinen Nullbetrag. Vor dem Versuch muss außerdem feststehen, welche Quelltexte den Rechner verlassen dürfen: Jevgrep sendet geeignete Inhalte an den ausgewählten Anbieter, seine Dateifilter garantieren keine vollständige Entfernung vertraulicher Angaben. Das MIT-lizenzierte Werkzeug ist hier anhand seiner Quellen geprüft. Einen eigenen Lauf haben wir nicht durchgeführt. Beim vorgeschlagenen Vergleich bleibt die Zeile für eine gescheiterte Reparatur einschließlich ihrer bis dahin angefallenen Kosten im Protokoll stehen.
QUELLEN UND STAND / GEPRÜFT 2026-09-29
MATHIAS HEINKE