Was ein unabhängiger KI-Prüfer veröffentlichen darf

Drei Stufen mit unterschiedlichen Rechten

Anthropic beschreibt ein abgestuftes Verfahren. In der ersten Stufe bestimmt das Unternehmen den Informationszugang und muss einer Veröffentlichung zustimmen. In der zweiten dürfen Prüfer ohne diese Zustimmung veröffentlichen. METR erhält in der dritten Stufe zusätzlich den erweiterten internen Zugang.

Auch dort bleiben Grenzen. Anthropic kann Schwärzungen für eng definierte vertrauliche Informationen verlangen. METR darf öffentlich erläutern, ob es diese Schwärzungen für gerechtfertigt hält. Ein fertiger neuer Prüfbericht liegt mit dieser Ankündigung noch nicht vor.

Was ich neben einen Sicherheitsbericht schreiben würde

Für die Auswahl eines Modells im Betrieb reicht mir deshalb die Bezeichnung „extern geprüft“ nicht. Ich möchte wissen, welche Modellfassung untersucht wurde, welche Informationen zugänglich waren und ob der Hersteller die Veröffentlichung verhindern konnte. Das sind unterschiedliche Voraussetzungen für ein belastbares Urteil.

Ein eng begrenzter Test kann für seinen konkreten Gegenstand nützlich sein. Die Einschränkung muss dann beim Ergebnis stehen. Umgekehrt belegt ein breiter Informationszugang noch nicht, dass die Untersuchung gute Fragen stellt oder ihre Befunde trägt. Dafür braucht es den tatsächlichen Bericht.

Anthropics Ankündigung liefert einen konkreten Maßstab für solche Rückfragen. Die angekündigten Rechte lassen sich später mit METRs Veröffentlichung vergleichen: Was wurde untersucht, was blieb verborgen, und welche Folgen ziehen die Beteiligten aus dem Befund? Bis dahin ist die neue Zugangsregelung belegt, nicht das Ergebnis ihrer Prüfung.