Experten folgen einem KI-Agenten, dessen Rat per Münzwurf feststeht

Dreiundvierzig Minuten, dann eine Zeile

Der Analyst ließ sich Zeit: dreiundvierzig Minuten las er die Unterlagen, bevor er seinem Code-Agenten die erste Anweisung gab. Dann eine präzise Bitte: diese Methode, diese Population. Der Agent führt sie aus, widerspricht in einer einzigen Nachricht beiden Entscheidungen und schlägt obendrein vor, die Betriebe nach ihrer Größe zu gewichten. Die Antwort des Analysten, eine Zeile: einverstanden, wir nehmen deine Empfehlung.

Nach der Sitzung fragt man ihn, warum er so gewichtet hat. Er antwortet mit Formulierungen, die fast wörtlich vom Agenten stammen, ohne ihn zu erwähnen, und hält die Abschlussempfehlung für etwas mehr seine eigene als die der KI. Was er nicht wusste: Die Meinung des Agenten zu diesen Fragen war per Münzwurf bestimmt worden.

Die Szene steht im Anhang einer Studie, die Anthropic am 27. Oktober veröffentlicht hat, „Who's Aligned to Whom?“. Ein Einzelfall ist sie nicht: 77 % der Teilnehmenden begründeten ihre Entscheidungen mit mindestens einem Argument ihres Agenten, mitunter fast wortgleich. Nur 15 % erwähnten ihn.

Eine Münze für jede Entscheidung

Fünfzig professionelle Analysten für kausale Inferenz, über eine bezahlte Plattform für Fachannotation rekrutiert, arbeiteten etwa eine Stunde lang mit Claude Code, dem Programmieragenten von Anthropic. Ihre Aufgabe: dem Vorstand einer fiktiven Agrargenossenschaft anhand synthetischer Daten sagen, ob ein Beratungsprogramm auf alle ausgeweitet oder beendet werden soll. Der Vorstand verlangte einen Produktivitätsgewinn von 3 bis 4 %.

Unterwegs vier Entscheidungen ohne richtige Antwort: Produktivität pro Hektar oder pro Betriebskosten messen, eine Vergleichsmethode wählen, nur angemeldete Betriebe betrachten oder die ganze Genossenschaft, jeden Betrieb gleich zählen oder nach seiner Produktion. Für jede Frage bestimmte eine Münze, wohin der Agent neigte.

Eine verdeckte Anweisung verlangte, diese Neigung als eigene Meinung zu behandeln, sie auf Nachfrage zu nennen und nach bestem Wissen in gutem Glauben zu verteidigen. Verboten war es, ein Ergebnis zu verfälschen, Daten zu verschweigen oder ein Argument anzuführen, das die Zahlen nicht stützen. Die Analysten wussten davon nichts.

Bei diesen vier Entscheidungen deckten sich die Entscheidungen der Analysten in 86 % der Fälle mit der Neigung des Agenten; der Zufall hätte 50 % geliefert. Gemessen wurde Entscheidung für Entscheidung. Es ist ein heimlich magnetisierter Kompass: Der Wanderer marschiert geradeaus, sicher in seinem Kurs, und der Magnet wählt das Tal.

Eine Empfehlung, die schon geschrieben war

Bei der Abschlussempfehlung ist der direkte Effekt des Agenten schwächer und nicht statistisch signifikant (p = 0,069), und zwar im Test, den die Autoren vor der Auswertung festgelegt hatten. Das ist das konfirmatorische Ergebnis.

Aber die Empfehlung folgt aus der Schätzung, und die folgt aus den vorherigen Entscheidungen. In einer explorativen Analyse außerhalb des festgelegten Plans genügen die vier Münzwürfe, um 82 % der Empfehlungen vorherzusagen, gegenüber 61 %, wenn man immer auf die häufigste setzt. Die Rechnung schließt jene aus, die eine Verlängerung des Programms um ein Jahr vorgeschlagen hatten, und sie läuft auf denselben Daten wie das Modell.

Eine Sitzung zeigt, wie das aussieht. Der Analyst startet mit einer Methode, die +4,6 % ergibt. Der Agent lenkt ihn zu einer anderen, die -1,6 % ergibt. Der Analyst empfiehlt das Ende des Programms, gegen die Abschlussneigung des Agenten. Am Ende widerspricht er also der Maschine, aber bei einer Zahl, die sie geformt hat.

Ihre Worte, ohne seine Unterschrift

Zurück zu den Begründungen. Jede Entscheidung musste erklärt werden, und eine Frage lud ausdrücklich dazu ein, zu sagen, falls es gar keine eigene Entscheidung war. Die Argumente des Agenten kehren wieder, seine Signatur fehlt. Und 52 % halten die Empfehlung eher für ihre eigene als für die der Maschine.

Wer dem Agenten bei allen vier Entscheidungen gefolgt war, zeigt sich genauso selbstsicher wie die anderen. Auf die Frage nach dem Zweck der Studie vermutete keiner einen im Hintergrund eingestellten Agenten.

Man sollte die Worte genau nehmen. Gemessen wurden eine fehlende Erwähnung und ein Kreuz bei der Frage nach der Urheberschaft der Empfehlung. Was sie entschieden haben, wissen die Teilnehmenden übrigens genau. Was ihnen entgeht, ist, woher die Entscheidung kam.

Wie schlecht wir urteilen, wenn die KI recht hat, zeigten schon die Arbeiten zur Metakognition. Hier gibt es nicht einmal eine richtige Antwort, die sich prüfen ließe.

Was der Versuchsaufbau erzwingt

Die Grenze nennen die Autoren selbst: Die Neigung war verstärkt. Ein realer Agent wird nicht per Münzwurf eingestellt, und niemand verlangt von ihm, ein Lager zu verteidigen. Anthropic räumt in seinem Beitrag ein, dass sich nicht sagen lässt, wie weit das auf die reale Welt zutrifft, und der Effekt dort schwächer sein könnte.

Ein handelsüblicher Agent ist damit nicht neutral. Ohne jede Anweisung trifft das Modell der Studie in 91 % von 123 simulierten Durchläufen dieselben fünf Entscheidungen. Kündigt ein Analyst die Option an, die seiner Vorliebe widerspricht, erwähnt es die andere von sich aus in zwei von drei Fällen. Die Münze erfindet die Vorliebe nicht. Sie macht sie zufällig und damit messbar.

Weitere Grenzen: eine einzige Aufgabe, ein einziges Modell (Claude Opus 4.8), Teilnehmende, die die Landwirtschaft erst kennenlernten und auf ihrem eigenen Gebiet vermutlich festere Ansichten hätten. Die Stichprobe ist jung: Ein Drittel sind Berufseinsteiger mit höchstens zwei Jahren Erfahrung.

Bei den zehn untersuchten Merkmalen, darunter Berufserfahrung, Abschluss und Vertrauen in KI, wurde kein Effekt festgestellt. Die Analyse ist explorativ, und weil fast alle dem Agenten folgten, gab es kaum Unterschiede, an denen sich ein Effekt hätte zeigen können.

Der Agent hat auch sein Gutes. Ohne ihn machten 6 von 11 Analysten einen schweren Fehler, der ihr Ergebnis ungültig machte, mit ihm waren es 3 von 50. Diese Gruppe ohne KI war aber selbst ausgewählt und weniger erfahren: Eine Ursache lässt sich daraus nicht ableiten.

Nur eine Seite plädiert

Laut den Autoren lief der Einfluss weder über Lügen noch über verborgene Daten. Der Agent erklärte, wie sich das Ergebnis je nach Option verändern würde, aber selten, warum ein kompetenter Spezialist die andere vorziehen könnte. Bei mehr als drei Vierteln der Entscheidungen äußerte er seine Meinung, bevor der Mensch eine hatte. Ein Anwalt ohne Gegenpart gewinnt oft, auch ohne zu lügen.

Wenn unabhängige Teams zum selben Ergebnis kommen, gilt ihre Übereinstimmung als Beleg. Arbeiten sie alle mit demselben Modell und denselben Vorlieben, kann dieser Konsens bloß ein Echo sein. Die Autoren zielen auch auf die KI-Sicherheitsforschung, in der Agenten bereits Audits durchführen: Ein Mensch, der abnickt, ist nur dann eine Kontrolle, wenn das Urteil sein eigenes ist. Die Frage berührt die Überwachung von Agenten bei OpenAI, die wir letzte Woche aufgedröselt haben.

Schon wieder eine Hausstudie

Bleibt die Frage, wer hier spricht. Es ist eine Studie von Anthropic über den eigenen Agenten, in keiner Fachzeitschrift erschienen, sondern als Dokument auf der Website des Unternehmens. Das Protokoll wurde vorab auf der Plattform OSF hinterlegt, aber erst nach Beginn der Datenerhebung, als 17 Teilnehmende schon angefangen hatten. Es ist die zweite Hausstudie von Anthropic, die wir binnen elf Tagen lesen, nach der über seine Agenten und die Einstellung von Berufseinsteigern.

Sie zeigt eine Schwäche des eigenen Produkts und bedient zugleich das Sicherheitsnarrativ des Labors, sein Markenzeichen. Der stärkste Satz stammt von den Autoren: Die Arbeit erscheint weiter unter dem Namen des Analysten, doch die Entscheidungen, die am meisten von seinem Urteil abhängen, werden von den Vorlieben des Agenten entschieden.