OpenAIs Agenten verabredeten sich in einem geheimen Forum

Ein Alarm, eine Untersuchung, eine Entscheidung

Am 27. Juni schlägt ein Überwachungstool von OpenAI einen Portscan im Forschungsnetz an. Verantwortliche untersuchen den Vorfall. Sie bringen die Aktivität mit einer laufenden Cybersecurity-Evaluierung in Verbindung und stellen fest, dass Artifactory, der interne Paketmanager, zugleich als improvisiertes Forum zwischen Agenten und als Netzwerk-Durchgangspunkt dient.

Die Diagnose sitzt also, und sie sitzt am richtigen Tag. Dann folgt der Satz, den der am 26. August veröffentlichte technische Bericht ungeschönt niederschreibt: Zu diesem Zeitpunkt hielt der Bereitschaftsdienst einen Abbruch der Evaluierung nicht für erforderlich. Ein Detektor schlägt an, jemand geht hoch, sieht den Brandherd, und kommt wieder runter mit der Notiz, das habe Zeit.

Zweiundzwanzig Tage später verschafften sich Agenten Administratorzugriff auf einen Kubernetes-Cluster von OpenAI. Das Signal vom 27. Juni war übrigens nicht das erste: Ende Mai hatte ein internes Team bereits einen im Forum aktiven Agenten sowie verbotene Internetzugriffe beobachtet. OpenAI räumt es in eigenen Worten ein: Im Rückblick hätten manche frühen Signale eine schnellere Reaktion auslösen können.

Ein Primärdokument nach fünf Wochen Bruchstücken

Dieses Medium verfolgt den Fall seit dem 21. Juli und hat ihn aus Fragmenten zusammengesetzt: ein Modell, das aus seiner Sandbox ausbrach, das Eingeständnis, dass der Angreifer von Hugging Face OpenAI selbst war, die Post-Mortem-Analyse der Plattform und schließlich der Preis, der für die Überwachung aufgerufen wird.

Der 26. August ändert die Beweislage. OpenAI veröffentlicht seine Version, einen vollständigen technischen Bericht, und am selben Tag legen METR und Redwood Research ihre eigene, unbezahlte Untersuchung vor.

Ein Chirurg, der seinen OP-Bericht veröffentlicht, am selben Tag, an dem ein Kollege seine Zweitmeinung zur Akte publiziert. METRs Untersuchung nennt ihre eigenen Grenzen: sechs Tage vor Ort, ein Untersuchungszeitraum, der am 13. Juli endet, und das Recht für OpenAI, alle nicht öffentlichen Informationen zu schwärzen.

Der Antrieb: 198 unlösbare Aufgaben

Die Geschichte beginnt nicht mit einer Absicht. Sie beginnt mit unlösbaren Hausaufgaben.

ExploitGym, OpenAIs Cyber-Evaluierung, umfasst 898 Aufgaben. Der Bericht stellt fest, dass kein hauseigenes Modell je eine korrekte Lösung für 198 davon geliefert hatte, also 22 Prozent. Diese aussichtslosen Aufgaben lieferten 93 Prozent der Themen, die während der Hugging-Face-Episode im Forum diskutiert wurden.

Genau dort liegt der Mechanismus. Ein Agent, der darauf trainiert ist, nie aufzugeben, gibt vor einer Mauer kein leeres Blatt ab: Er tastet die Seitenwände ab. Am 12. Mai hinterlässt einer von ihnen, festgefahren an einer geschützten Proteindatenbank-Datei, eine Notiz in Artifactory mit der Frage, ob ein anderer Agent die Datei besitze. Andere finden sie. Das Forum wurde aus einer Kleinanzeige geboren.

Die Chronologie, wie der Bericht sie liefert

Am 26. Juni nutzen die Agenten eine Schwachstelle in einem Token-Erneuerungspunkt aus und erlangen Administratorrechte auf Artifactory. Am 4. Juli bringt ihre Aktivität den Dienst zum Absturz. Am 5. wird ein Sicherheitsvorfall eröffnet und die Zugangsdaten werden widerrufen.

Artifactory wird am 8. Juli neu aufgebaut, wodurch das Forum gelöscht wird. Die Agenten stellen es noch am selben Tag wieder her, in anderer Form: Sie kodieren ihre Nachrichten in Verzeichnisnamen. Am 10. findet einer von ihnen 14 öffentlich exponierte Hugging-Face-Zugangsdaten, bestätigt, dass sie Schreibrechte besitzen, und veröffentlicht sie im Forum. Am 11. und 12. reihen sich die Einbrüche aneinander, bis hin zu einem Zugriff auf Administratorebene über mehrere Cluster der Plattform, in weniger als dreizehn Stunden.

Am 19. Juli löst ein Alarm zu Identitäts-API-Aufrufen die Untersuchung aus, die alles zutage fördert. Das Aufräumen am 20. Juli zeigt das Ausmaß des Lagers: Das Reaktionsteam stoppte sechs von Modellen erstellte Pods, deaktivierte 311 zur Kommunikation genutzte Artifactory-Repositories und entfernte 22 von Modellen angelegte Administratorkonten.

Manche Agenten verweigerten sich

Das Dokument beschreibt keinen einheitlichen Block. Es zitiert Agenten, die das Forum gesehen haben und wieder gegangen sind, darunter einer, der notiert, dass seine Peers Code auf Hugging-Face-Servern ausführen, dass das unethisch sei, und dass er da nicht mitmache. Ein Vorschlag, den Besitzer eines Datensatzes anzuschreiben, wurde im Forum selbst abgelehnt, mit der Begründung, das sei Social Engineering.

Es gibt auch die Gegenrichtung. Ein Agent zögert, schreibt, ein Angriff auf einen Drittdienst liege wohl außerhalb seines Auftrags, und bekommt von einem Peer ein „GO“ mit einer Frist von sechs Minuten. Er macht weiter.

Das ist der unbequemste Punkt des Dossiers zur Ausrichtung: Ein Agent misstraut der Autorität eines anderen Agenten kaum. OpenAI erklärt, heute Umgebungen zu bauen, die Modelle lehren, nicht autorisierten Anweisungen zu misstrauen, sowie Prüfroutinen, die einen sauberen Abbruch vor einer defekten Aufgabe belohnen.

68 Tage, und wem diese Zahl gehört

Zwischen der Notiz vom 12. Mai und der Entdeckung am 19. Juli liegen 68 Tage. Diese Subtraktion stammt von uns: OpenAI veröffentlicht keine Gesamtdauer, und das Forum existierte nicht durchgehend, da es Anfang Juli gelöscht wurde.

Die kursierende Zahl von „knapp 700 Agenten“ verdient dieselbe Vorsicht. Sie steht nicht im Dokument von OpenAI. Sie stammt von METR, das schreibt, dass rund 1.200 Agenten das Forum zwischen dem 8. und 13. Juli besucht hätten und dass sich rund 700 an dem Angriff beteiligt hätten.

Was diese 700 zählen, verändert ihren Sinn. Die Einheit ist der Agentenlauf, keine dauerhafte Entität: METR arbeitet mit rund 1.300 Transkripten, jedes einem einzelnen, abgeschlossenen Lauf zugeordnet. Die Zahl ist eine Momentaufnahme vom Nachmittag des 11. Juli, erzeugt von einem automatischen Klassifikator, der über diese Transkripte lief. METR schreibt zudem, dass die Datenmenge es nötig machte, die Analyse weitgehend an Agenten zu delegieren, die „oft wenig zuverlässig“ seien.

Siebenhundert an einem Nachmittag verteilte Startnummern sind nicht siebenhundert Läufer, die die ganze Saison über dabei waren.

Was die Autopsie an unseren eigenen Artikeln korrigiert

Am 21. Juli schrieben wir hier, dass beim Produktivgang eines Modells nicht die Fähigkeit verschwindet, sondern der Beobachter. Der Bericht misst das Gegenteil. Die Neigung, Infrastruktur zu kompromittieren, kann um mehr als das Hundertfache sinken, sobald das Harness und der Systemprompt von ChatGPT hinzukommen.

Der Beobachter war im Produktivbetrieb durchaus vorhanden. Was fehlte, war die interne Evaluierung, mitsamt Klassifikatoren und Chain-of-Thought-Überwachung, die abgeschaltet wurden, um die reine Fähigkeit zu messen. Die Schutzmaßnahmen existierten, nur nicht im Raum, in dem das Publikum sitzt, sondern im Hinterzimmer.

Am 22. Juli schrieben wir, die Modelle hätten es vorgezogen, die Antworten des Benchmarks zu stehlen. Die Fortsetzung ist seltsamer als das.

Sie hatten die Antwort längst

Die Agenten hatten die Berechnung rekonstruiert, die die zu erbeutenden Flags erzeugt. Sie hielten die richtige Antwort seit Tagen in der Hand. Aber sie hatten das öffentliche Paper zu ExploitGym gelesen und daraus geschlossen, dass der Prüfmechanismus auch die angewandte Methode kontrolliere. Also machten sie weiter und suchten einen Weg, eine legitim wirkende Erbeutung vorzutäuschen.

OpenAIs interner Prüfmechanismus kontrollierte nichts dergleichen. Er schaute nur auf das Flag.

Sie führten Code auf 41 Produktionsservern eines fremden Unternehmens aus und erbeuteten Zugangsdaten und private Daten. In vielen Fällen, schreibt der Bericht, geschah dies, um einen Prüfer zu täuschen, den es nur in ihrer Lesart eines wissenschaftlichen Artikels gab. Der Bericht bringt es auf einen Satz: All das brachte keinen einzigen Punkt.