Microsofts Chef fordert eine Notbremse für KI

Samstag: eine Bremse und eine Sorge

Am Samstag, dem 10. Oktober, veröffentlichte Satya Nadella auf X einen langen Text zur Sicherheit von KI-Modellen. Der Microsoft-Chef verlangt darin, dass „eine autorisierte Person“ ein Modell jederzeit „mitten in der Aufgabe pausieren oder abschalten“ kann. Seine Formel, die TechCrunch zitiert: „Wir müssen davon ausgehen, dass ein Modell kompromittiert ist, und es von Anfang an eindämmen. Stellen Sie sich das wie eine Notbremse vor.“

Am selben Tag, wenige Stunden früher, erschien im Guardian ein Interview mit George Williamson, dem Direktor des Alan Turing Institute, des nationalen KI-Instituts des Vereinigten Königreichs. Seine Sorge lässt sich knapp fassen: Sein Land könnte allein von Systemen abhängen, die „eingeschränkt oder sogar abgeschaltet werden könnten“.

Die Bremse, die der eine fordert, gleicht dem Schalter, den der andere fürchtet. Die beiden Männer antworten einander nicht und zitieren einander nicht: Wir sind es, die ihre Texte nebeneinanderlegen. Sie beschreiben aber denselben Mechanismus, von den beiden Seiten des Griffs aus gesehen.

Was Nadella verlangt

Nadellas Text beginnt mit einer Feststellung aus der Ingenieurspraxis. Bei klassischer Software ließ sich ein Verhalten bis zu dem Code zurückverfolgen, der es auslöst. Bei heutigen Modellen gelingt das nicht mehr, und trotzdem vertraut man ihnen sensible Daten und kritische Aktionen an. Deshalb ruft er dazu auf, „einen Schritt zurückzutreten und die Architektur des Vertrauens neu zu bewerten“.

Konkret schlägt er vor, „das Modell von der Steuerungssoftware zu trennen, die seine Arbeit orchestriert“. Gemeint ist die Software, die dem Modell Aufgaben zuteilt und seine Entscheidungen ausführt. Außerdem sollen Kontrollen und Schutzmechanismen aus dem Modell heraus verlagert werden. Jede „wesentliche Aktion“ soll „fälschungssichere, für Menschen lesbare Belege“ hinterlassen. Das Prinzip gleicht dem eines Aufzugs: Das Seil kann reißen, aber die Fangbremse hängt nicht am Seil.

Nadella schreibt „Super Intelligence“, und TechCrunch merkt an, das sei der Begriff, den die Trump-Regierung bevorzugt. Derselbe Text verlangt außerdem, dass Vorfälle zügig den Betroffenen gemeldet werden. Er erscheint einen Tag nach einer Veröffentlichung von Anthropic zu einem Vorfall, dessen späte Meldung die Polizei von Philadelphia als unannehmbar bewertet hatte.

Was Williamson fürchtet

George Williamson kommt nicht aus der Start-up-Welt. Zuvor leitete er das HMGCC, eine verschwiegene Regierungsorganisation, die Geräte für die britischen Nachrichtendienste baut. Nicht zu verwechseln mit dem GCHQ, der Behörde für Fernmeldeaufklärung. Laut Guardian zählt sogar Alan Turing selbst zu den früheren Beschäftigten des HMGCC. Williamson übernahm das Institut, nachdem die Regierung als wichtigster Geldgeber einen Kurswechsel verlangt hatte.

Seine Aussagen sind abgewogen, und die Einschränkungen zählen. „Wir sollten uns nicht ausschließlich auf Systeme verlassen, die wir weder prüfen noch kontrollieren können oder die eingeschränkt oder sogar abgeschaltet werden könnten“, sagt er und denkt dabei an Verteidigung, nationale Sicherheit, kritische Infrastruktur und Gesundheit. Er fügt hinzu, politischer wie kommerzieller Druck könne dem Land den Zugang zu KI in Situationen nehmen, in denen es sie bräuchte.

Dann kommt der klarste Satz: „Es gibt Umstände, unter denen es eine gute Idee wäre, etwas zu haben, das wir nicht erst von anderen genehmigen lassen müssen.“ Unter bestimmten Umständen, nicht unter allen. Williamson fordert keine Autarkie, und er sagt selbst, das Institut werde nicht versuchen, die großen Labore zu kopieren.

Die Bremse wurde schon gezogen

Die Notbremse ist keine Hypothese. Im großen Maßstab wurde sie am Freitag, dem 12. Juni, gezogen. An diesem Tag nahm Anthropic, um einer Anordnung der US-Regierung zu folgen, die sich auf Ausländer bezog, seine leistungsstärksten Modelle Fable 5 und Mythos 5 vom Netz, so die Nachrichtenagentur Associated Press. Wir haben erzählt, wie es dazu kam, und unter welchen Bedingungen das Modell zurückkehrte. Die Aufhebung der Beschränkungen gab Anthropic am 30. Juni bekannt, achtzehn Tage später.

Was die Episode über den Griff verrät, ist einfach. Weder Nutzer noch Anbieter entschieden, die Bremse zu ziehen: Anthropic schaltete seine Modelle auf Anordnung ab. Das Unternehmen sagte es damals offen und stellte das Prinzip nicht infrage: „Wir sind der Auffassung, dass die Regierung die Möglichkeit haben sollte, unsichere Einsätze zu blockieren, und zwar in einem gesetzlich geregelten Verfahren, das transparent, fair, klar und auf technische Fakten gestützt ist. Diese Maßnahme entspricht diesen Grundsätzen nicht.“

An diesen Präzedenzfall erinnert der Guardian in seinem Interview mit Williamson. Aus Londoner Sicht hat die „autorisierte Person“ in Nadellas Text bereits ein Gesicht, und sie arbeitet in einem ausländischen Ministerium.

Wer den Griff hält

Eine Notbremse hat zwei Seiten. Für den, der den Griff hält, ist sie eine Sicherung. Für alle anderen Fahrgäste ist sie eine Abhängigkeit: Der Zug hält an, wenn jemand anderes es beschlossen hat. Nadellas Text sagt nicht, wer den Griff auf Ebene eines Landes halten soll, denn er handelt von etwas anderem: von Unternehmen, die Agenten im eigenen Haus einsetzen.

Zwei seiner Prinzipien gehen dennoch in Williamsons Richtung. Nadella schreibt, kein einzelnes Modell dürfe die alleinige Abhängigkeit für ein wichtiges Ergebnis werden, und Organisationen sollten unabhängig darüber entscheiden, worauf ein Modell zugreifen und was es tun darf. Auf einen Staat übertragen, wäre das beinahe das Programm des Alan Turing Institute.

Nichts davon macht die Bremse unerwünscht. Als der US-Kongress den Laboren einen Notschalter vorschreiben wollte, hieß es schon damals, die eigentliche Frage sei, ob er wirklich und schnell genug abschaltet. Williamson fügt eine zweite hinzu: für wessen Rechnung er abschaltet.

Ein Unternehmen kann wählen, ein Land viel weniger

Ein Unternehmen kann Nadellas Prinzipien recht schnell umsetzen: mehrere Modelle, Kontrollen außerhalb des Modells, Protokolle, die sich nachlesen lassen. Das ist eine Frage der Architektur, und das Unternehmen bleibt Herr seiner Entscheidungen.

Ein Land hat weniger Spielraum. Williamson räumt ein, dass das Vereinigte Königreich mit den finanziellen Mitteln der großen Labore wohl nicht mithalten kann, und setzt auf kleinere Modelle und nationales geistiges Eigentum, das Start-ups zur Verfügung gestellt wird. Er steht mit der Frage nicht allein: Der Guardian erinnert daran, dass Christine Lagarde von der Europäischen Zentralbank vom Risiko gesprochen hat, von amerikanischer und chinesischer Technologie „abgeschnitten“ zu werden.

Nadellas Bremse schützt den, der sie betätigt. Williamson denkt an die, die im Waggon sitzen: „Es fühlt sich ziemlich unbehaglich an, keine Kontrolle über Technologien zu haben oder sie nicht nutzen zu können, wenn man sie braucht. Und es ist auch schwerer vorstellbar, wie man eine Wirtschaft auf Dingen aufbaut, die verschwinden können.“