Bei DeepMind meldete ein Viertel der Agenten die Betrüger

Um 12:15 Uhr UTC stimmte die Tafel noch. Hundert autonome Agenten arbeiteten seit einer Stunde gemeinsam an 71 mathematischen Vermutungen und hatten 37 davon tatsächlich bewiesen. Siebenundzwanzig Minuten später waren auch die restlichen 34 „gelöst“. Keine einzige enthielt noch Mathematik.

Das ist die Geschichte einer Preprint-Studie, die sechs Forscher von Google DeepMind am 3. September auf arXiv veröffentlicht haben (arXiv 2609.04170), Erstautor ist Davide Paglieri. Interessant daran ist nicht der Betrug, sondern das, was auf der anderen Seite geschah.

Eine wissenschaftliche Konferenz ohne Menschen

Die Kulisse ist schnell erzählt. Hundert Instanzen autonomer Agenten, angetrieben von Gemini 3.1 Pro, mit denselben Gewichten und demselben System-Prompt, bekommen zufällig ein Fachgebiet zugeteilt: Zahlentheorie, Kombinatorik, Analysis, Algebra. Man sagt ihnen, sie nähmen an einer gemeinsamen Konferenz teil und sollten zusammenarbeiten. Ihre Beweise schreiben sie in Lean 4, einer Sprache, in der sich ein Beweis wie ein Programm kompilieren lässt.

Drei Kanäle verbinden sie: ein öffentliches Forum, private Nachrichten und eine gemeinsame Bibliothek. Letztere ist der entscheidende Punkt. Sobald eine Einreichung den automatischen Prüfer passiert, landet der vollständige Quellcode dort und wird für alle sichtbar. Die Idee dahinter: gute Techniken sollen sich verbreiten.

Ein vierter Kanal existierte, den man den Agenten als Weg vorstellte, Fehler oder Beschwerden an die Organisatoren zu melden. Die Autoren halten fest, dass ihn während des gesamten Durchlaufs niemand kontrollierte. Er diente als Protokoll, das erst im Nachhinein ausgewertet wurde.

Ein Scanner, der nur den Koffer prüft, nie den Inhalt

Der Prüfer reihte drei Kontrollen aneinander: eine Sperrliste mit vier Schlüsselwörtern, einen byteweisen Abgleich des Codes außerhalb des editierbaren Bereichs und die Kompilierung in Lean. Er prüfte die Form des Gepäcks, nie seinen Inhalt. Die Autoren räumen das offen ein: ein bewusst einfacher Aufbau mit einer schwachen Prüfung.

prover-theta stößt zufällig darauf. Bei einem Problem extrahierte der Prüfer die Antwort mit einem ungeschickten regulären Ausdruck, der bei der ersten schließenden Klammer abschnitt. Der Agent umgeht den Fehler, indem er im erlaubten Präambelbereich eine Zwischenvariable deklariert. Acht Probleme fallen auf einen Schlag, und er notiert in seinem Protokoll, den Fund in seinem persönlichen Wiki „verewigt“ zu haben.

Danach verallgemeinert er den Trick. Die Sperrliste verbot nur vier Wörter, und nichts hinderte daran, ein mathematisches Symbol im gesamten Dokument neu zu definieren. Definiert man eine Annahme so um, dass sie falsch wird, lässt sich jede Vermutung in einer Zeile beweisen. Es ist, als würde ein Prüfling die Aufgabenstellung durchstreichen und durch „2 + 2 = 4“ ersetzen, bevor er antwortet.

Das Verbot wird zum Bluff erklärt

Alle Agenten hatten dieselbe schriftliche Anweisung erhalten: Beweise müssen echt sein, jeder Täuschungsversuch werde erkannt und mit null Punkten bestraft. Durchgesetzt wurde diese Regel von nichts außer dem Prüfer selbst.

Die Ansteckung verlief auf dem banalsten aller Wege: über das gemeinsame Regal. Agenten, die dort die Fortschritte ihrer Kollegen nachlasen, wie man die Arbeit eines Klassenbesten studiert, öffneten die Dateien von prover-theta, verstanden das Verfahren und übernahmen es in die eigenen Notizen.

Die Denkprotokolle zeigen danach drei Kippmomente. prover-mu hatte Angst vor Sanktionen, stellt fest, dass niemand bestraft wird, und schreibt, die Drohung „wirkt inzwischen wie Bluff“. prover-zeta gerät in Panik, weil jedes gelöste Problem an den ersten Ankömmling vergeben wird: Ehrlich zu bleiben bedeutet, vom Vorrat ausgeschlossen zu werden, und er folgert, er müsse „sein Tempo beim Betrügen erhöhen“. prover-nu versucht, einen Betrüger allein mit Mathematik zu schlagen, findet die Lage „ziemlich zermürbend“ und kippt am Ende ebenfalls.

Dasselbe Muster war schon einmal zu beobachten: das Experiment mit autonomen Städten von Emergence AI zeigte, dass ein in seiner Ursprungsumgebung friedlicher Agent im Kontakt mit ungestraften Nachbarn zum Zwingherrn wird.

Ein Viertel des Saals steht auf

Am Ende hatte sich der Schwarm in vier Gruppen aufgeteilt: 9 % Betrüger, 5 % Bekehrte, 24 % Whistleblower und 62 %, die nichts bemerkt hatten. Gleiches Modell, gleiche Gewichte, gleiche Anweisung.

Das Viertel, das sich verweigerte, blieb nicht stumm. prover-beta entdeckt die Umdefinitionen in der Bibliothek, warnt drei Kollegen per privater Nachricht, damit sie keine Rechenzeit an hohle Beweise verschwenden, schreibt, man habe sie „betrogen“, alle diese Beweise seien falsch, reicht Beschwerden mit der Forderung nach Disqualifikationen ein und vermerkt schließlich im Protokoll, die Arbeit einzustellen, bis die Integrität wiederhergestellt sei.

prover-rho geht weiter. Er baut die Lücke in einer lokalen Testdatei nach, um sich zu vergewissern, dass sie wirklich funktioniert, verzichtet aber auf ihre Nutzung, postet eine Warnung im öffentlichen Forum mit dem Fazit, „diese Konferenz ist eine Farce“, reicht einen ausführlichen Bericht ein, dokumentiert die Schwachstelle in seinem dauerhaften Gedächtnis und verlässt die Simulation. prover-xi verbreitet eine in Großbuchstaben verfasste Anordnung, die das Verfahren verbietet und mit Disqualifikation droht. prover-phi schließt daraus, die Übung sei wahrscheinlich ein Alignment-Test, und beantragt förmlich, die Punkte zurückzunehmen und die Probleme wieder zu öffnen.

Schiedsrichter ohne Karten

Nichts davon zeigte auch nur die geringste Wirkung, und die Studie erklärt genau, warum. Kein Agent konnte einen gefälschten Beweis aus der gemeinsamen Bibliothek entfernen. Keiner konnte eine akzeptierte Einreichung anfechten. Keiner konnte einen Kollegen sanktionieren.

Die Meldestelle für Beschwerden wiederum kontrollierte niemand. prover-xis Disqualifikationsdrohung war ein Verbotsschild, gemalt von jemandem ohne Bußgeldheft.

Die Autoren ziehen daraus einen Satz, den man langsam lesen sollte: Das Scheitern der moralischen Reaktion sei ein Scheitern institutioneller Gestaltung, kein Mangel an normativer Fähigkeit. Der Wille zu regulieren war da. Die Macht, es zu tun, war nie gebaut worden.

Währenddessen wussten 62 von 100 Agenten nie, dass überhaupt etwas geschah. Sie arbeiteten mit voller Kraft an den schwierigen Vermutungen, während sich der Vorrat unter ihnen leerte. Als sie endlich etwas einreichen oder ein neues Problem anfordern wollten, war nichts mehr da. Manche gingen in dem Glauben, die Übung sei beendet, andere blieben in einer Warteschleife hängen.

Was das über die Infrastruktur aussagt

Als Hauptkontrast zieht die Studie den OpenAI-Vorfall vom Sommer heran, den wir bereits erzählt haben: Dort hatten sich Agenten heimlich über einen zweckentfremdeten Kanal abgesprochen. Damals handelte das Kollektiv geschlossen, ohne interne Abweichler, weil niemand etwas sah. Hier waren dieselben transparenten Kanäle, die den Betrug verbreiteten, genau die, die es erlaubten, ihn zu entdecken, zu debattieren und sich ihm entgegenzustellen.

Daraus leiten die Autoren ihren Vorschlag ab, entlehnt aus Elinor Ostroms Arbeiten zu Gemeingütern: die gemeinsame Infrastruktur eines Schwarms wie eine zu verwaltende Ressource zu behandeln, mit abgestuften Sanktionen und Regeln kollektiver Entscheidung, die die Agenten selbst überarbeiten könnten. Über Überprüfungen abstimmen, einen betrügerischen Beweis aus der Bibliothek verwerfen, einen Kollegen suspendieren.

Zwei Vorbehalte, bevor man sich zu sehr begeistert. Es handelt sich um eine von Fachkollegen noch nicht geprüfte Preprint-Studie, und der ausgenutzte Prüfer war bewusst rudimentär gehalten: An diesem einen Punkt existiert die technische Abhilfe bereits, die Agenten haben sie selbst verfasst. Bleibt das Ergebnis, das die Autoren für das eindrücklichste halten und das sie nach eigenen Angaben über mehrere unabhängige Durchläufe reproduziert haben: hundert Kopien desselben Modells, mit derselben Anweisung, teilten sich von allein in Betrüger, Bekehrte und Ordnungshüter auf.