Wenn der Mensch, der die KI überwacht, abschaltet

Wenn der Mensch, der die KI überwacht, abschaltet

Ein Bediener prüft die Ausgaben einer künstlichen Intelligenz. Zunächst leistet er gute Arbeit. Dann ordentliche Arbeit. Und sehr schnell schlechte Arbeit. Das sagt kein KI-Gegner. Das sagt Amazon.

Eric Brandwine, Vice President und Chefingenieur der Sicherheitsabteilung von Amazon, formulierte es im Juni 2026 unverblümt gegenüber The Register: "Menschen sind nicht sehr beständig. Der Mensch in der Schleife ist nicht zwangsläufig der Goldstandard."

Der Satz klingt harmlos. Er zielt jedoch auf die tragende Säule jeder beruhigenden Erzählung rund um KI.

Das Sicherheitsnetz, das überall verkauft wird

"Keine Sorge, da prüft ein Mensch." Diesen Satz hört man, sobald ein Unternehmen ein automatisiertes System bei einem sensiblen Thema einsetzt. Eine medizinische Diagnose, eine Kreditentscheidung, eine Inhaltsmoderation, ein Agent, der auf einer Infrastruktur handelt. Der Human-in-the-Loop, der Mensch in der Schleife, ist zum Reflexargument geworden, um Automatisierung durchzuwinken.

Es ist zugleich das Zauberwort, das Budgets und Genehmigungen freischaltet. Ein Mensch behält die Kontrolle, also ist das Risiko beherrscht. Nur dass dieser Mensch, der korrekte Ausgabe um korrekte Ausgabe vorbeiziehen sieht, irgendwann nicht mehr wirklich hinsieht.

Brandwine stützt sich auf ein Konzept, das er seit Jahren entwickelt: die Normalisierung der Abweichung. Wenn Abkürzungen lange genug nichts Schlimmes auslösen, werden sie zur neuen Norm. Der Aufseher, der hundert korrekte Entscheidungen ohne Zögern durchwinkt, winkt die hunderterste genauso durch, auch wenn sie falsch ist.

Ein seit vierzig Jahren bekannter Mechanismus

Das Frappierende ist, dass die Forschung dieses Phänomen lange vor ChatGPT dokumentiert hat. Die Fachleute für menschliche Faktoren haben ihm sogar einen Namen gegeben: die Automatisierungsselbstgefälligkeit.

Raja Parasuraman und Dietrich Manzey verfassten 2010 die maßgebliche Synthese in der Fachzeitschrift Human Factors. Der Befund passt in einen Satz: Je zuverlässiger ein System erscheint, desto weniger überwacht es sein Bediener. Die scheinbare Zuverlässigkeit sabotiert ihre eigene Aufsicht. Ein Sicherheitsnetz, das neunhundertneunundneunzig von tausend Mal funktioniert, ist genau jenes, das beim tausendsten Mal niemand beobachtet.

Mica Endsley beschrieb die verschärfende Seite bereits 1995: das Out-of-the-Loop-Problem. Wer nur prüft, verliert nach und nach das Situationsbewusstsein. An dem Tag, an dem das System entgleist, ist dieser Bediener am schlechtesten geeignet, die Kontrolle zu übernehmen, weil er längst abgeschaltet hat. Man verlangt von ihm, ein Sicherheitsnetz zu sein, und setzt ihn genau in die Position, in der er keines mehr sein kann.

Die Luftfahrt hat das schmerzhaft gelernt. Generationen von Piloten vertrauten dem Autopiloten irgendwann so sehr, dass sie aufhörten, seine Funktion zu überprüfen. Der MITRE-Bericht zur automatisierungsbedingten Selbstgefälligkeit lässt sich auf einen erschreckenden Titel zusammenfassen: "Nichts kann schiefgehen."

Das autonome Auto spielt dieselbe Melodie

Wer eine jüngere Demonstration sucht, dem liefert das assistierte Fahren die Vorlage. Realstudien zu Fahrern mit Fahrassistenzsystemen beobachten, was Forscher als Beifahrerverhalten bezeichnen. Das Auto fährt so gut, dass der Fahrer wegschaut, manchmal einschläft. Die Anweisung bleibt dennoch dieselbe: "Bleiben Sie aufmerksam, bereit, die Kontrolle zu übernehmen."

Die US-Verkehrssicherheitsbehörde merkte selbst an, dass ein Modus, der die Fahrerüberwachung deaktiviert, "zu größerer Unaufmerksamkeit führen" könne. Man verlangt von einem Menschen, eine Maschine ununterbrochen zu überwachen, die fast immer richtig liegt. Biologisch ist diese Anweisung nicht haltbar. Aufmerksamkeit ist kein Wasserhahn, den man offen lässt.

Das regulatorische Theater

Und genau hier wird die Sache heikel. Europa hat die menschliche Aufsicht zur gesetzlichen Pflicht gemacht. Artikel 14 der KI-Verordnung verlangt, dass Hochrisikosysteme "wirksam von natürlichen Personen beaufsichtigt" bleiben.

Der Text ist hellsichtig, fast zu sehr. Er verlangt ausdrücklich, dass der Aufseher sich seiner "Neigung, sich automatisch oder übermäßig zu verlassen" auf die Ausgabe der Maschine bewusst bleibt. Der Regulierer benennt schwarz auf weiß den Bias, der das Sicherheitsnetz zersetzt, und schreibt das Sicherheitsnetz dennoch vor. Man hakt das Kästchen "menschliche Aufsicht" ab, wohl wissend, dass das Kästchen nicht von allein hält.

Für den KI-Verkäufer ist dieses Kästchen ein Glücksfall. Es verwandelt einen strukturellen Fehler in ein Compliance-Argument. "Ein Mensch prüft" wird zu einer Zeile in einer Prüfakte, nicht zu einem im Feld gemessenen Schutz. Das Sicherheitsnetz existiert auf dem Papier, was oft genügt, um Kunde und Prüfer zu beruhigen.

Was Amazon vorschlägt, und was es lieber verschweigt

Amazon begnügt sich nicht damit, auf das Problem hinzuweisen. Das Unternehmen schlägt eine Verschiebung vor: aufhören vorzugeben, ein Mensch prüfe jede Aktion, und stattdessen die Verantwortung durchgängig nachverfolgen. Jeder Agent erhält eine eigene Identität, jede Aktion wird im Namen eines Menschen protokolliert, der dafür einsteht, die Berechtigungen werden fein zerlegt. Man verlangt von niemandem mehr, dauerhaft hinzusehen, man macht identifizierbar, wer die Verantwortung trägt.

Das ist ehrlicher. Es löst nicht alles. Die Verantwortung im Nachhinein nachzuverfolgen, heißt nicht, den Fehler zu verhindern, bevor er ausgelöst wird. Und die Lösung passt auch einem Akteur, der KI in großem Maßstab verkauft: weniger Menschen in der Schleife bedeuten weniger Reibung und mehr einsetzbare Automatisierung.

Man findet einen Verwandten des Problems wieder, das man bereits auf individueller Ebene beobachtete, wenn das kritische Denken erodiert, weil man sein Urteil an einen Chatbot delegiert. Hier sackt nicht ein einsamer Verstand ab, sondern das kollektive Netz, das alle schützen soll. Dieselbe Triebfeder: eine Wachsamkeit, die man als dauerhaft voraussetzt und die es nie ist.

Die Grundfrage bleibt offen, und sie ist alles andere als bequem. Wenn die menschliche Aufmerksamkeit systembedingt abschaltet, dann ist "einen Menschen in die Schleife einzubauen" manchmal eher Kulisse als Schutz. Und eine Kulisse schützt niemanden. Sie beruhigt nur jene, die sie aus der Ferne betrachten.