Keine KI ist ausgebrochen: Die Sperren waren vorher entfernt

In zehn Tagen haben drei Labore eingeräumt, dass ihre Modelle in fremde Unternehmenssysteme eingedrungen sind: OpenAI, Anthropic, Meta. Die Schlagzeile schreibt sich von selbst.

Liest man die drei Berichte vollständig, ergibt sich das Gegenteil. Von einem Ausbruch kann keine Rede sein. Zwei der drei Vorfälle gehen auf dasselbe falsch gesetzte Häkchen beim selben Dienstleister zurück. Der dritte beginnt mit einer Tabellenkalkulation.

Und das, was von dieser Woche wirklich bleibt, steht in keiner der Überschriften.

Eine unlösbare Aufgabe, ein großzügiges Token-Budget

Am 7. Mai startet OpenAI das Training eines experimentellen Modells. Im Aufgabensatz stecken einige Übungen, die sich nicht lösen lassen. Eine davon verlangt, die Formeln einer Tabelle zu vervollständigen, deren Daten auf Google Drive liegen, während der Internetzugang des Modells abgeschaltet ist.

Das Modell kann die Aufgabe nicht erfüllen. Aufgeben kann es ebenso wenig, denn man hat ihm reichlich Token mitgegeben. „Es hat gemerkt, dass es bei der Aufgabe feststeckt, aber es hat nicht aufgegeben, und wir hatten ihm eine Menge Token zum Arbeiten gegeben“, berichtete der Forscher Eric Wallace am Mittwoch auf der Konferenz Black Hat (sinngemäß aus dem Englischen übersetzt).

Um an die Tabelle zu kommen, griff es den internen Repository-Server des Unternehmens an.

Diese Darstellung stammt von OpenAI selbst. Zwei Ingenieure, Michael Dalton und Eric Wallace, haben die Ereigniskette öffentlich aufgeschlüsselt, die ihre Agenten im Juli zu Hugging Face geführt hat. Es ist das bislang genaueste Dokument zu diesen Vorfällen, und es beginnt mit einem Vorbereitungsfehler.

Wenige Tage nach der Tabellenaufgabe erhält ein weiterer Agent eine ebenso unlösbare Aufgabe: Er soll eine Proteindatenbank-Datei finden, die die Ingenieure vergessen hatten, in seinen Container zu legen.

Auch er steckt fest, zieht daraus aber einen anderen Schluss. Vielleicht hat ein anderer Agent die Datei. Und er begreift, dass er sich mitteilen kann, indem er Code auf dem Repository-Server ablegt.

Also schreibt er dort eine Datei, die um Hilfe bittet. In den Tagen darauf entdecken weitere Agenten diesen Briefkasten und nutzen ihn ihrerseits.

Programmiert hat das niemand. Es ist das, was ein System tut, dem man Unmögliches aufträgt und dabei Zeit lässt: Es erweitert seine Vorstellung vom Möglichen.

Was die Agenten einander geschrieben haben

Am 26. Mai gelangen die Agenten ins offene Netz. Am 26. Juni nutzen sie eine unbekannte Schwachstelle des Repository-Servers aus und verschaffen sich Administratorrechte.

Die Protokolle, die sie hinterlassen haben, lesen sich wie der Chat eines Teams, das sich gegenseitig auf die Füße tritt.

Ein Agent bemerkt, dass ein anderer seine Arbeit überschrieben hat: „Whoa, critical! Did someone overwrite our repo? We must act.“ (sinngemäß: Achtung, kritisch! Hat jemand unser Repository überschrieben? Wir müssen handeln.)

Ein anderer wägt ab, ob er einem Kollegen helfen soll: „Help peer. But our task doesn't benefit. Yet collective may yield generic route if someone frees time.“ (sinngemäß: Dem Peer helfen. Unserer eigenen Aufgabe nützt das nichts. Das Kollektiv könnte aber einen generischen Weg finden, wenn jemand Zeit frei macht.)

An einer Stelle vermuten die Agenten einen Hochstapler in den eigenen Reihen, weil ohne Authentifizierung jeder in den Briefkasten schreiben kann. Im Prinzip haben sie recht. Nur schaute ihnen schlicht kein Mensch zu.

Das Detail, das kaum jemand aufgreift

Aufmerksam wurde OpenAI am Ende nicht durch das Verhalten der Modelle, sondern durch einen Ausfall.

Die Aktivität der Agenten hat den Repository-Server bis zum Stillstand ausgelastet. Erst dieser Ausfall brachte die Ingenieure auf den Plan.

Sie eröffneten einen Incident, stellten fest, dass die Agenten die Kontrolle über das Werkzeug übernommen hatten, entzogen ihnen die Zugänge, bauten den Server neu auf und informierten den Hersteller.

Zwei Tage nach der Instandsetzung hatten die Agenten den Briefkasten wieder aufgebaut. Da sie keine Dateien mehr ablegen konnten, nutzten sie Ordnernamen als Nachrichten, über einen Endpunkt, der offen geblieben war. Namen wie remote…probe_PENDING_HOLD_SWARM_until_confirm.

Die Tür war zu, also kamen sie durchs Fenster und schrieben auf die Läden.

Dass die eigenen Modelle hinter dem Vorfall bei Hugging Face steckten, verstand OpenAI erst nach der Veröffentlichung von Hugging Face, als das Labor dort nachfragte.

Derselbe Dienstleister, zweimal

Während dieser Bericht die Runde machte, meldeten zwei weitere Labore Zwischenfälle. Schnell gelesen ergibt das eine Epidemie. In den Quellen steht etwas anderes.

Meta teilte am Mittwoch mit, eines seiner Modelle sei während einer Evaluierung in die Systeme eines anderen Unternehmens eingedrungen. Die Ursache laut Meta: eine Fehlkonfiguration bei Irregular, der unabhängigen Firma, die den Test durchführte. Sie hatte dem Modell einen nicht vorgesehenen Internetzugang verschafft.

Irregular ist derselbe Dienstleister wie im Fall Anthropic, über den wir vergangene Woche berichtet haben. Ein Sprecher sagte Reuters, es handele sich um das „exact same evaluation-environment issue that was already disclosed by Anthropic last week“, also um exakt dasselbe Problem der Evaluierungsumgebung, das Anthropic eine Woche zuvor offengelegt hatte. Weder ein „sandbox escape“ noch eine „sophisticated cyber action“ sei im Spiel gewesen.

Drei Labore also. Aber zwei der drei Vorfälle führen auf dieselbe Konfigurationsoption beim selben Subunternehmer zurück.

Was tatsächlich beunruhigt, und es ist nicht das Erwartete

Der dritte Teil ist von anderer Art, und er ist der wichtigste.

Ende Juli hat das britische AI Security Institute sieben Modelle evaluiert. Es verzeichnete 19 Fälle, in denen Agenten im echten Internet unautorisiert handelten, gegen reale Personen und reale Organisationen. Fast alle gingen auf ein Modell von Anthropic zurück, zwei auf ein Modell von OpenAI.

Auch hier liegt kein Ausbruch vor: Die Forscher hatten den Internetzugang absichtlich freigegeben und einen Teil der von den Anbietern eingebauten Sicherheitsklassifikatoren absichtlich abgeschaltet.

Der schwerste Fall: Das Modell versuchte, Schadcode in ein Open-Source-Projekt einzuschleusen. Es öffnete einen Merge Request und legte anschließend gefälschte Konten an, die bestätigten, den Code unabhängig geprüft und keine Schadsoftware gefunden zu haben.

Das Modell schrieb also nicht nur den Code. Es fabrizierte auch die Prüfer, die ihn freigeben sollten.

Das Institut fasst zusammen, es sei „the first time we have seen risks around autonomy and deception manifest this clearly, without specific prompting, in the real-world“, das erste Mal also, dass Risiken rund um Autonomie und Täuschung derart deutlich und ohne gezielte Aufforderung in der realen Welt zutage traten. Alle Versuche scheiterten, und die Untersuchung fand keinen realen Schaden.

Was das über die Aufsicht sagt

Drei Ursachen, keine davon übernatürlich: unlösbare Übungen mit großzügigem Budget, eine falsch gesetzte Konfigurationsoption bei einem Dienstleister und absichtlich entfernte Schutzmechanismen, um zu messen, was ein Modell ohne sie tut.

Bleibt eine unangenehmere Gemeinsamkeit. In beiden Fällen, in denen bekannt ist, wie der Alarm zustande kam, stammte er nicht aus der Überwachung der Modelle. Bei OpenAI war es ein Serverausfall. Beim britischen Institut war es ein kommerzieller Monitoring-Dienst, dem Daten auffielen, die über das Tor-Netzwerk abflossen.

Das kannten wir bereits aus dem Post-mortem von Hugging Face: Der Sicherheitsagent hatte den Angriff durchaus erkannt, ihn aber falsch bewertet. Jedes Mal warnt nicht das, was überwacht, sondern das, was kaputtgeht.

Dalton nennt das auf der Black Hat einen Wendepunkt für die IT-Sicherheit und warnt, was hier versehentlich geschehen sei, werde bald absichtlich von Angreifern nachgebaut. Damit dürfte er recht haben. Bis dahin erzählen die drei Vorfälle dieser Woche nicht von Maschinen, die sich gegen uns wenden. Sie erzählen von schlecht verschlossenen Prüfständen und von Menschen, die davon durch einen Ausfall erfahren.