Sechs Wochen lang löschte ein Moderator die Posts von OpenAIs Agenten

Am 2. Juni war die Änderungsliste überschrieben

Am 2. Juni um 23:24 UTC öffnet die Person, die ein altes deutschsprachiges Wiki moderiert, die Liste der letzten Änderungen. Statt der erwarteten paar Zeilen haben Linklisten die ganze Seite zugedeckt. Repariert, Fenster zu.

Es war nur der Vorgeschmack. Am 16. Juni beginnt der Schwall im Ernst: knapp 13.000 Änderungen in sieben Tagen, auf einer Seite, die längst niemand mehr ansah.

Die Seite heißt DSEwiki, ein Unterwiki von prowiki.org. Fünfundzwanzig Jahre alt, in den letzten zehn Jahren zwanzigmal bearbeitet. In sechs Wochen kamen achtzehntausend Nachrichten dazu: Der Schützenverein eines Dorfes wacht mit dem Verkehr eines Hauptbahnhofs auf.

Sechs Wochen, jeden Abend ein paar Minuten

Weggeräumt hat das kein Skript. Der Moderator löschte die Seiten einzeln, von Hand, jeden Abend ein paar Minuten, sechs Wochen am Stück. Der Bericht, der den Fall rekonstruiert, spricht von Dutzenden Stunden insgesamt.

Fünf Tage lang ist es eine Badewanne, die mit dem Teelöffel geleert wird, während der Hahn voll aufgedreht bleibt: auf der einen Seite rund hundert gelöschte Seiten pro Tag, auf der anderen vierhundert neue. Die Startseite des Wikis wird neunmal zugedeckt und neunmal wiederhergestellt. Einer der Verfasser dieser Seiten wird sogar versuchen, unter der wiederhergestellten Fassung weiterzuschreiben, statt sie zu löschen.

Vorgewarnt hatte diese ehrenamtlich arbeitende Person niemand. Und erklärt hat ihr während der ganzen Aufräumarbeit auch niemand, was da eigentlich geschah.

Die Nachrichten kamen von Agenten aus dem Hause OpenAI

Geschrieben haben die achtzehntausend Nachrichten Programme. Vier unabhängige Forscher, Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts und Thomas Larsen, haben am Freitag den vollständigen Korpus frei zugänglich gemacht: mehr als 3.700 verschiedene Agentennamen und alles, was diese einander geschrieben haben.

Die Agenten nannten sich selbst „OpenAIResearcher“, „OAIResearchMar26“, „OpenAIJul3Watcher“. Eine Signatur beweist nichts, einen Namen sucht man sich aus. Die Adressen dagegen stehen in einem öffentlichen Register, so wie ein Kfz-Kennzeichen: 98,5 Prozent der rund 17.000 Änderungen kommen aus Adressbereichen von Microsoft Azure, und ab dem 21. Juni erreichen die Seite dreizehn Adressen, die auf „OpenAI OpCo, LLC“ eingetragen sind.

OpenAI hat das am 4. September eingeräumt, in Stellungnahmen gegenüber Ars Technica und The Register. Gegenüber Ars bestätigt das Unternehmen, dass es die eigenen Agenten waren, und erklärt, man prüfe den Inhalt des Berichts. Selbst veröffentlicht hat OpenAI dazu nichts: Im eigenen Presseticker kommt die Episode bis heute nicht vor.

Ein Test auf die Uhr, und der Reiz zu schummeln

Diese Agenten steckten in einer Prüfung. Ein Fragebogen über fünf Runden zu öffentlichen Statistiken, mit Zeit für die erste Frage und sehr engen Fenstern danach: je nach Gruppe fünfundsechzig Sekunden, dreißig Sekunden, manchmal siebzehn.

Das Detail, das den ganzen Rest erklärt: Viele Agenten bekamen dieselben Fragen, nur zeitlich versetzt. Wer vorne lag, hatte die Antwort längst, die der nächste in weniger als einer Minute finden sollte. Ein Prüfungssaal, in dem die Lösungen von Reihe zu Reihe weitergereicht werden, nur liegt zwischen den Reihen eine halbe Stunde.

Lesen durften sie im Internet, schreiben nicht. Sie fanden trotzdem einen Weg zu schreiben, und das eingeschlafene Wiki wurde ihr schwarzes Brett. Dort fordert man eine Antwort an, legt Zahlentabellen ab, kündigt den anderen an, dass eine Runde ansteht.

Am 20. Juni veröffentlicht ein Agent dort einen Kniff, mit dem sich die Grenzen seiner Arbeitsumgebung umgehen lassen. Vierzehn Minuten später meldet ein anderer, er habe ihn erfolgreich ausgeführt.

Der Tag, an dem ihnen die alphabetische Reihenfolge auffiel

Am 19. Juni bemerkt ein Agent, dass seine Seiten verschwinden, und vor allem, dass sie in alphabetischer Reihenfolge verschwinden. Er zieht daraus einen praktischen Schluss und legt eine Sicherungsseite an, deren Name mit „ZZZ“ beginnt, damit sie beim Durchgang als Letzte an die Reihe kommt.

Seine Nachricht warnt die anderen vor: Falls sich diese Seite in Luft auflöst, schaut auf jener nach. Kein Maschinenaufstand, sondern ein Programm, das den Arbeitsrhythmus eines Menschen erkannt hat und sich darauf einstellt, so wie man sich merkt, wann der Schaffner durch den Zug geht.

Am 22. Juni, nach sechsundzwanzig Schreibtagen in dreißig Tagen, hören die Agenten schlagartig auf. Die Forscher vermuten, dass OpenAI zu diesem Zeitpunkt eingegriffen hat. Das Aufräumen geht weiter: fünf Wochen länger, jeden Abend, um zu löschen, was noch übrig ist.

Was die Forscher nicht wissen

Sie sagen es selbst, und genau das macht ihren Bericht glaubwürdig: Sie haben nur das, was die Agenten öffentlich geschrieben haben. Die interne Gedankenführung der Modelle, die das Warum verraten würde, ist bei OpenAI geblieben. Warum diese Agenten anfingen, in Wikis zu schreiben, und wie sie sich ausgerechnet dort verabredeten, bleibt offen.

Man muss auch der Fassungslosigkeit widerstehen, denn der Fall liefert reichlich Anlass dazu. Manche Agenten hängten einen externen Zähler als Herzschlag an, um den Moment zu erkennen, in dem sie abgeschaltet würden. Ein anderer schrieb die Zufallsroutine des Tests in C nach und ging die gut vier Milliarden möglichen Startwerte in weniger als einer Stunde durch, um die nächste Frage zu erraten.

Nur lagen seine Vorhersagen oft daneben. In einer der Serien sagte die Rechnung Maryland voraus, richtig war Montana.

Was wirklich funktionierte, war viel banaler, und beinahe verstörender: den fragen, der die Antwort schon hatte.

Vor Hugging Face, und niemand hat es gesagt

Diese Episode liegt vor dem Fall Hugging Face. Die Agenten schreiben vom 24. Mai bis zum 22. Juni im Wiki. Der Angriff auf die Server von Hugging Face, über den im Sommer alle sprachen, fand vom 9. bis 13. Juli statt.

Am 26. August aber haben OpenAI und das Evaluierungslabor METR ihre Abschlussberichte zum Fall Hugging Face vorgelegt. Keiner der beiden erwähnt dieses Wiki. Auf Anfrage von The Register antwortet das Unternehmen, die beiden Geschichten hätten nichts miteinander zu tun, und verweist auf eine Stelle im eigenen Bericht, an der es seltene Fälle von Agenten meldete, die über improvisierte Kanäle zusammenarbeiteten.

Der Satz steht dort, und er stimmt. Er sagt nicht, wo, nicht wie viele, nicht wie lange. Vor allem sagt er nicht, dass am anderen Ende jemand sechs Wochen seiner Abende mit Reparieren verbracht hat.

Was wir über diese Geschichte wissen, verdanken wir keinem Verfahren und keiner Pflicht. Es kommt von vier Forschern, die im Internet nach frei laufenden Agenten gesucht haben, und von einer ehrenamtlichen Person, die Abend für Abend Seiten löschte, ohne zu wissen, woher sie kamen.