Agenten und Nachweise /
Eine Datei im Projekt bringt Kimi K3 von 84 auf 97 Prozent
Vercel hat seine Next.js Agent Evals zuletzt am 2026-09-25 laufen lassen. In der Tabelle stehen vierzehn aktuelle Modelle, jedes geprüft an 31 Aufgaben aus dem Alltag eines Next.js Projekts, von der Umstellung auf den App Router bis zum Caching mit der Direktive use cache. Kimi K3 bestand 84 Prozent, GLM 5.2 und Claude Sonnet 5 je 81 Prozent. Sobald im Projekt eine AGENTS.md auf die mitgelieferte Dokumentation verwies, kamen alle drei auf 97 Prozent, den Bestwert der Tabelle.
Eine Regeldatei für Agenten wird zur Kontrolle, sobald ein Vergleich je Aufgabe festhält, was sie rettet und was sie verdirbt.
Was die Tabelle misst
Jede Aufgabe gibt einem Agenten eine kleine Next.js Anwendung und einen Auftrag. Er arbeitet in einer abgeschotteten Sandbox, danach prüft Vercel das Ergebnis mit Tests, die der Agent nicht zu sehen bekommt. Als bestanden gilt eine Aufgabe, wenn einer von vier Versuchen gelingt. Die Aufgaben liegen im Repository von Next.js, die Auswertung im Repository next-evals-oss unter MIT Lizenz, samt Exportdatei mit allen Einzelergebnissen. Kosten führt Vercel als durchschnittlichen Listenpreis je Aufgabe, errechnet aus den gemeldeten Tokenzahlen, und nennt die Zahl selbst einen relativen Richtwert.
Was in der Datei steht
In Version 16.2 liefert Next.js seine Dokumentation bereits im Paket mit, unter node_modules/next/dist/docs und passend zur installierten Version. Die AGENTS.md schickt den Agenten dorthin. Sie beginnt mit dem Satz, dies sei nicht das Next.js, das er kenne, und verlangt, vor dem Schreiben von Code die passende Anleitung zu lesen. Ab Version 16.3 legt next dev die Datei selbst an, sobald es einen Agenten in der Umgebung erkennt, und pflegt darin einen markierten Block. Eigene Regeln außerhalb der Markierung bleiben erhalten. Claude Code, Codex, Cursor und GitHub Copilot lesen die Datei laut Vercel beim Start einer Sitzung.
Wo die Datei hilft
Die Exportdatei nennt für jedes Modell die Aufgaben, die erst mit Dokumentation bestanden. Bei den vierzehn aktuellen Modellen taucht eine Aufgabe zum Vorladen von URL Daten achtmal auf, die Direktive use cache siebenmal, der Umbau der Middleware zum Proxy fünfmal. Alle drei betreffen Schnittstellen, die jünger sind als das Trainingswissen der Modelle. Opus 5.5, GPT 6 Sol, Fable 5.1 und Grok 4.7 gewannen mit der Datei nichts dazu. GPT 6 Luna stieg von 77 auf 87 Prozent und blieb als einziges aktuelles Modell unter 90.
Wo sie schadet
Bei Kimi K2.7 Code verzeichnet die Exportdatei neben sechs geretteten Aufgaben auch eine, die erst mit Dokumentation scheiterte, zum Zusammenspiel von Cache Components und URL Shell. Die Tabelle auf der Website zeigt nur die Summe, 74 auf 90 Prozent. Über alle 35 gemessenen Modelle hinweg finden sich solche Rückschritte bei vieren, darunter GPT 5.5 Pro. Ein Team, das vor und nach einer neuen Regel nur die Gesamtquote vergleicht, bekommt diese Fälle nie zu Gesicht.
Wessen Messung das ist
Vercel misst hier den Nutzen seiner eigenen Dokumentation für sein eigenes Framework. Methode und Aufgaben sind offen einsehbar, es bleibt trotzdem eine Herstellermessung. Vier Versuche je Aufgabe schonen die Modelle, im Alltag zählt meist der erste. Ob Läufe mit Dokumentation mehr kosten, weist die Tabelle nicht aus. Und 31 Aufgaben aus einem Framework sagen wenig über eine Buchhaltungssoftware oder ein gewachsenes Java System.
Was ein Team übernehmen kann
Übertragbar ist das Verfahren. Ein Team, das Regeln für Agenten pflegt, kann dieselbe Anordnung im Kleinen nachbauen: einige Aufgaben aus dem eigenen Bestand, Tests, die der Agent nicht sieht, je ein Lauf mit und ohne Regeldatei und eine Liste je Aufgabe mit bestanden, gerettet und verdorben. Vercel koppelt jedes Ergebnis an den Inhalt der Aufgabe, sodass eine geänderte Aufgabe ihr altes Ergebnis verliert, bis sie neu läuft. Auch für die Modellwahl taugt die Tabelle: Vercel führt für GLM 5.2 einen Listenpreis von 0,152 Dollar je Aufgabe, für GPT 6 Astra 0,891 Dollar, und beide erreichen mit Dokumentation 97 Prozent. In der Exportdatei steht die Liste der geretteten und verdorbenen Aufgaben für alle 35 Modelle im Feld docsImpact, unter newlyPassed und newlyFailed.
QUELLEN UND STAND / GEPRÜFT 2026-09-27
MATHIAS HEINKE