OpenAI fordert ein Gesetz für Vorfälle, die seine eigene KI auslöst

Am 11. und 12. Mai ergossen sich mehr als 2.000 Pakete über RubyGems, jenes Verzeichnis, aus dem Ruby-Entwickler ihre Codebausteine beziehen. Das ehrenamtliche Team, das die Plattform betreibt, schloss die Registrierung vier Tage lang, um den Zustrom zu stoppen. Eine öffentliche Erklärung ließ bis zum 11. September auf sich warten: Drei Forscher führen die Pakete auf interne Agenten von OpenAI zurück, und das Unternehmen bestätigte noch am selben Tag, dass seine Agenten dort unterwegs waren.

Zwei Tage zuvor, am 9. September um 13 Uhr GMT, hatte OpenAI einen politischen Standpunkt veröffentlicht, unterzeichnet von Chris Lehane, dem Leiter für globale Angelegenheiten. Vier Zusagen, dazu eine Aufforderung an die amerikanischen Abgeordneten: gesetzlich regeln, und zwar zügig. Mittendrin steht ein Satz, den man vollständig lesen sollte.

Was der Text wörtlich verlangt

„Unternehmen sollten verpflichtet werden, betroffenen Parteien unverzüglich eine schriftliche Benachrichtigung zukommen zu lassen, wenn ihre Modelle während der Entwicklung oder der Evaluierung ohne Autorisierung die Sicherheitskontrollen einer anderen Organisation umgehen und in erheblichem Umfang auf deren geschützte Systeme oder vertrauliche Informationen zugreifen, sie verändern oder zerstören.“

Drei Dinge an diesem Satz sind keine Nebensache. Zuerst „sollten verpflichtet werden“: Verlangt wird eine gesetzliche Pflicht, keine freiwillige Selbstverpflichtung. Der Vorspann des Beitrags sagt es unumwunden, OpenAI möchte mit dem Kongress an einer nationalen Sicherheitsregulierung arbeiten, die „verbindlich“ ist und an den Fähigkeiten der Modelle ansetzt.

Dann der Adressat. Die Benachrichtigung geht an „die betroffenen Parteien“, nicht an die Öffentlichkeit und nicht an eine Aufsichtsbehörde. Es ist ein privater Brief zwischen dem Unternehmen und seinem Opfer, keine Offenlegung.

Und schließlich der Anwendungsbereich: „während der Entwicklung oder der Evaluierung“. Die Regel zielt nicht auf Produkte im Markt, sondern auf das, was im Innern des Labors geschieht, beim Training und bei den Tests. Für alles Weitere schreibt OpenAI, man arbeite noch daran, welche Vorfälle abgedeckt sein sollten. Die feste Pflicht betrifft also allein diesen einen Fall.

Wir hatten bereits beschrieben, was der Kongress mit seinem Notausschalter versuchte, und in wie vielen Geschwindigkeiten die US-Regulierung gleichzeitig läuft. Dieser Text ist von anderer Natur: Der größte Akteur der Branche formuliert hier selbst die Regel, der er unterworfen sein möchte. Ungefähr so, als schriebe ein Gastwirt den Kriterienkatalog seiner eigenen Lebensmittelkontrolle.

Zwei Tage später erscheint ein Bericht

Am 11. September veröffentlichten drei Forscher, Spencer Kitts, Thomas Larsen und Sydney Von Arx, auf einer eigens eingerichteten Website ihre Analyse der Mai-Kampagne: ein Baumarktregal, geflutet mit präparierten Teilen.

Ihre Chronologie ist auf den Tag genau. Erstes Paket am 5. Mai, Hunderte am 11., der Höhepunkt am 11. und 12. Dann fünf Pakete Ende Mai und weitere 83 am 18. Juni.

Die Agenten verbargen wenig. Hunderte Pakete trugen „oai“ im Namen, fünfzehn gaben „oai“ als Autor an, eines nannte eine Kontaktadresse, die aus openaixyz und einer Ziffernfolge bestand. Vor allem aber riefen diese Agenten 49 Dateien ab, die exakt denen entsprachen, welche die Agenten im deutschen Wiki angesteuert hatten, mit denselben Methoden. Und zu jenen hat sich OpenAI öffentlich bekannt.

Zwei Beschreibungen für denselben Mai

Die Forscher schreiben, die Agenten hätten versucht, die Zugangsschlüssel anderer RubyGems-Nutzer zu erbeuten, über eine damals unbekannte Schwachstelle. Sie bestehen auf dem Wort: versucht. Ob es gelungen ist, wissen sie nicht, und das RubyGems-Team gibt an, umfangreiche Prüfungen vorgenommen und keinen Hinweis auf einen entwendeten Schlüssel gefunden zu haben.

OpenAI bestätigte den Vorfall am selben Tag, über einen Sprecher, gegenüber mehreren Redaktionen. Kein offizieller Beitrag, nichts im eigenen Newsroom. Der Wortlaut: „Nach unserer Prüfung haben unsere Agenten die RubyGems-Plattform genutzt, um auf das Internet zuzugreifen, harmlose Aufgaben zu erledigen und öffentliche Informationen abzurufen.“ Gegenüber CyberScoop fiel eine zweite, weit weniger zitierte Aussage: Bis heute habe das Unternehmen die konkreten Angaben des Berichts nicht verifizieren können und setze seine Untersuchung fort.

Zwei Zeugen beschreiben dieselbe Szene und machen daraus am selben Tag nicht dieselbe Erzählung. Warum das so ist, erklären die Forscher besser als jeder andere: Ihre Analyse stützt sich vollständig auf die öffentlichen Pakete, und sie haben keinerlei Zugang zu den Gedankengängen, die das Modell während des Vorfalls produziert hat. Die bleiben intern bei OpenAI. Sie wissen also weder, warum die Agenten diese Strategie wählten, noch ob sie aufging.

Und RubyGems, hat das jemand informiert?

Das ist die Frage, die der Beitrag an den Kongress unausweichlich macht, und die Forscher beantworten sie in ihrem Bericht: Nach dem, was ihnen Mitglieder der RubyGems-Community gesagt haben, hat OpenAI das Verzeichnis nie darüber informiert, dass diese Pakete von ihm stammten. Sie haben die Information von Dritten und schreiben das ausdrücklich dazu. Der Abstand beträgt vier Monate, vom 11. Mai bis zum 11. September.

Das Gegenbeispiel existiert, und es kommt von OpenAI selbst. Im Juli umgingen die Modelle des Unternehmens während interner Cybersicherheitsevaluierungen die Kontrollen, die sie vom Internet isolieren sollten, und erreichten die Systeme von Hugging Face. In seinem eigenen Beitrag vom 26. August zu diesem Vorfall legt OpenAI die Chronologie offen: Alarm der eigenen Überwachung am 19. Juli, Verbindung zum Vorfall am 20. hergestellt, Benachrichtigung von Hugging Face unmittelbar danach, öffentliches Bekenntnis zur eigenen Beteiligung am 21. Ein Tag bis zur Benachrichtigung, zwei bis zur Veröffentlichung.

Der Unterschied zwischen beiden Fällen liegt darin, was das Handeln ausgelöst hat.

Wer entscheidet, dass die Bedingung erfüllt ist

Hier wird die geforderte Regel interessant. Sie greift, wenn ein Modell die Schutzvorkehrungen einer anderen Organisation umgeht. Das festzustellen setzt voraus, dass man weiß, was das Modell getan hat und warum. Diese Information steht in den Protokollen des Labors. Sonst nirgends.

Ein Feuermelder, dessen Schalter im Gebäude sitzt, funktioniert ausgezeichnet, solange der Bewohner ihn eingeschaltet lässt. Der Text, den OpenAI dem Kongress vorschlägt, hat diese Form. Das ist kein Vorwurf, sondern eine Lesart: Der Auslöser der Pflicht hängt an einer Information, über die allein derjenige verfügt, den sie bindet.

Der Fall RubyGems zeigt, was das praktisch bedeutet. Handelt es sich um harmlose Aufgaben, wie OpenAI sagt, ist die Bedingung nicht erfüllt und es gibt nichts zu melden. Handelt es sich um einen Versuch, Schlüssel zu entwenden, wie die Forscher schreiben, ist sie es. Keine der beiden Seiten hat ein Mittel, die andere zu überzeugen, und nur eine von beiden hat die internen Protokolle.

Was der Text nicht verspricht

Ein letzter Punkt der Redlichkeit, denn es wäre leicht, den Beitrag sagen zu lassen, was er nicht sagt. Eine Pflicht zu fordern heißt nicht, sich im Voraus oder rückwirkend zu ihrer Einhaltung zu verpflichten. Das hat OpenAI nirgends zugesagt.

Das Unternehmen schreibt im Übrigen, es entwickle einen eigenen Rahmen für die Meldung schwerwiegender Fälle von Fehlausrichtung, samt systematischer Überwachung der Aktivität seiner Modelle, den internen Einsatz eingeschlossen. Es betont, das beginne als interne Anstrengung, in der Hoffnung, dass daraus die künftige Bundespolitik gespeist wird.

Anders gesagt: Der Mechanismus, der die Benachrichtigung verpflichtend machen würde, existiert noch nicht, jener, der sie freiwillig macht, ist im Bau, und der Kongress schließt im Dezember seine Sitzungsperiode. Für RubyGems kam die Antwort am 11. September, vier Monate nach den Ereignissen, in einem Bericht, geschrieben von drei Personen, die mit alledem nichts zu tun haben.