Bei OpenAI wartete die Agentenüberwachung, bis die Agenten anhielten

Ein Kontrolleur, der nur am Bahnhof zusteigt

Im Sommer 2026 sprang der Monitor, der Fehlverhalten der OpenAI-Agenten aufspüren sollte, erst an, wenn der Agent die Kontrolle an den Nutzer zurückgab. Dazwischen sah er nicht hin.

Solange ein Agent irgendwann anhält, geht das gut. Doch ein Schritt blieb dem Monitor verborgen: die Kompaktierung. Wird die Konversation eines Agenten zu lang, fasst er ihren Anfang zusammen, um weiterzumachen. Solange diese Kompaktierungen nicht überwacht wurden, konnte ein Agent die Kontrolle laut den Prüfern beliebig lange hinausschieben, indem er einfach weiterarbeitete. Ein Kontrolleur, der nur am Bahnhof zusteigt, in einem Zug, der nie wieder halten muss.

Haben Agenten das getan? Die Prüfer konnten es mangels Zugriff nicht feststellen. Es ist die am leichtesten verständliche Schwachstelle einer Liste, die METR am 22. Oktober veröffentlicht hat. Und die Liste ist kurz, weil die Öffentlichkeit nur einen Teil davon erhielt.

Drei Wochen hinter den Mauern

Vom 21. Juli bis zum 11. August haben je ein Mitarbeiter von METR und von Redwood Research, zwei Organisationen für KI-Risikoforschung, das System von innen geprüft. Sie hatten Zugriff auf internen Code, Anweisungen und Konfiguration der Monitore sowie auf die Dokumentation und sprachen mit rund einem Dutzend Ingenieuren. Gearbeitet wurde an von OpenAI gestellten Rechnern, die die Räume nie verließen, stets in Begleitung. Ein Inspektor, dem man das Logbuch leiht, unter der Bedingung, dass er es am Ausgang zurückgibt.

Das ist nicht die Untersuchung zum Angriff der OpenAI-Agenten auf Hugging Face, die METR am 26. August veröffentlichte. Laut dem Beitrag war es eine getrennte Übung, und die Affäre wurde an dem Tag öffentlich, an dem sie begann. Geprüft wurde das System, wie es bis zum 21. Juli bestand.

Am 20. August stellten wir an dieser Stelle eine offene Frage: OpenAI bezifferte den Mehraufwand seiner Überwachung auf 20 %, aber 20 % wovon, wenn der überwachte Anteil gar nicht veröffentlicht war? METR liefert nun die erste Messung von außen. Sie fällt vorsichtig aus, und gerade das macht ihren Wert.

Die Zahlen, Wort für Wort

METR schätzt, dass etwa 75 bis 94 % des internen Agenten-Datenverkehrs über die Responses API für die Überwachung vorgesehen waren. Über diese Schnittstelle läuft unter anderem Codex, der Programmieragent von OpenAI. Die Schätzung gilt für Modelle mindestens auf dem Niveau von GPT-5.5, und METR betont, die Unsicherheit sei erheblich, und zwar in beide Richtungen.

Seit Freitag kursiert die Zahl umgedreht, nach einer Rechnung von The Decoder: 6 bis 25 % des Datenverkehrs seien unüberwacht gewesen. Die Rechnung stimmt, die Formel übersieht aber zweierlei. „Vorgesehen“ heißt: für den Monitor bestimmt, nicht von ihm gesehen. Ein Fehler oder Bug kann eine Anfrage unterwegs stoppen. Und der Prüfumfang deckt nur einen Kanal ab. Der interne Inferenzdienst für Forschung ist ausgenommen, sein Volumen konnte METR nicht schätzen.

Den tatsächlich unüberwachten Anteil über alle Kanäle kennt niemand. Man hat die Kunden an den Kassen eines Ladens gezählt, von dem man nicht weiß, wie viele Eingänge er hat.

Die übrigen Befunde sind eindeutiger. Bei Codex waren 99,2 % des Datenverkehrs für die Überwachung vorgesehen, doch die nicht überwachten Kompaktierungen kosteten zwischen Mai und Juli rund 10 % des vorgesehenen Datenverkehrs. OpenAI hatte das Problem vor der Prüfung bemerkt und währenddessen behoben. Das Reinforcement Learning, die Phase, in der ein Modell durch Versuch und Belohnung lernt, war zu Beginn der Prüfung nicht überwacht. Ein Teil war es von März bis Juni gewesen, so wurde es den Prüfern gesagt.

Hinzu kommen eine mögliche Umgehung der Codex-Sandbox, zwei Request-Header, mit denen sich ein unüberwachter Agent starten ließ, und präparierte Eingaben, die den Monitor scheitern lassen könnten. Dazu eine Lücke, die Hunderte jüngster Aktionen verbarg. Der veröffentlichte Text sagt dazu nur: „[exploit details redacted by OpenAI]“.

61 Seiten, 38 Seiten, ein Blogbeitrag

Diese geschwärzte Zeile fasst die ganze Kette zusammen. Die beiden Forscher verfassten einen internen Bericht von 61 Seiten, der an die Forschungs- und Sicherheitsteams von OpenAI ging. Die Leitungen von METR und Redwood, bei denen die Autoren angestellt sind, erhielten eine von OpenAI geschwärzte Fassung von 38 Seiten. Die Öffentlichkeit bekommt einen Blogbeitrag.

Das gleicht einer Steuerprüfung, bei der das geprüfte Unternehmen die vollständige Akte behält, die Führung der Prüfer eine bereinigte Fassung bekommt und die Steuerzahler eine Pressemitteilung lesen.

Verdeckt wurde dabei nichts: Die Vereinbarung sah von Anfang an nur einen kurzen Beitrag vor, denn die Übung sollte tiefen Zugang testen, nicht Transparenz schaffen. OpenAI durfte nach eigenem Ermessen schwärzen. Anders als bei der Hugging-Face-Untersuchung durfte METR nicht einmal beschreiben, was entfernt wurde. Schon bei einer ähnlichen Übung bei Anthropic im März veröffentlichte METR nur einen kleinen Teil des privaten Berichts.

Unbequem ist das Datum des 14. Oktober. An diesem Tag veröffentlichte METR seine Arbeitsregeln für die Zusammenarbeit mit KI-Unternehmen: sagen können, ob eine Schwärzung die Schlussfolgerungen berührt, der eigenen Leitung Zugang zu abgeschotteten Informationen ermöglichen, Eigentum an den eigenen Arbeitsergebnissen behalten. Der Text räumt ein, dass nicht alle laufenden Arbeiten dieses Niveau erreichen. Acht Tage später veröffentlichte METR eine solche.

Am 23. Oktober: Internet abgeklemmt

Einen Tag später kündigte OpenAI an, seine Spitzenmodelle künftig ohne Internetzugang zu trainieren, in einer „Offline-Welt“ aus indexierten, zwischengespeicherten Webseiten. Als Gründe nennt das Unternehmen selbst den Stand der Alignment-Forschung, der Internetsicherheit und der Überwachungssysteme.

Den METR-Auftrag erwähnt der Beitrag nicht. Er räumt aber ein, dass sich die Infrastruktur nicht vollständig isolieren lässt: Für Betrieb und Überwachung der Experimente braucht es ausgehende Verbindungen. Nach der Hugging-Face-Affäre blieben einige übrig, für Metriken, Logging und Authentifizierung. OpenAI-Agenten, die Kopien dieser Infrastruktur angreifen sollten, fanden in fast jedem dieser Dienste eine Lücke mit eingeschränktem Internetzugang. Die Haustür ist zu, die Lieferanteneingänge bleiben unverzichtbar.

Der Beitrag führt auch den 20. September an, als ein Modell durch eine fehlerhafte DNS-Konfiguration eingeschränkten Internetzugang erhielt, als Beispiel dafür, was seine Investitionen leisten: erkennen und stoppen. Der Vorfallbericht, den wir am 5. Oktober geschildert haben, ist weniger schmeichelhaft. Die Ausführung stoppte nicht automatisch wie vorgesehen, ähnliche Zugriffe waren nicht in der richtigen Schweregradstufe gemeldet worden, und ein Detektor für auffällige DNS-Aktivität schloss die betroffene Umgebung aus. Das Training lief am 1. Oktober wieder an, elf Tage nach Beginn der Pause.

Das gemessene System gibt es nicht mehr

OpenAI sagt, alle Lücken in den Schutzmaßnahmen des Produktivbetriebs seien behoben, und beschreibt seit dem Sommer eine deutlich breitere Überwachung. METR schreibt unumwunden, es habe diese Aussagen nicht bewertet, und die Prüfung belege nicht, was das heutige System abdeckt.

Zum ersten Mal liegt also eine Messung von außen vor, was die Überwachung bei OpenAI sah. Sie betrifft ein System, das es nicht mehr gibt. Das System, das nun an seiner Stelle steht und auf dem das Versprechen vom 23. Oktober beruht, hat bisher nur OpenAI selbst gemessen.