Der KI-Agent von Meta hob eine Hundeversicherung von 200 auf 888 Dollar
Wer zahlt für solche Fehler? Die US-Banken haben gerade geantwortet.

Eine Versicherung auf das Vierfache, ohne dass jemand es wollte
Ein Meta-Mitarbeiter testet Muse, den hauseigenen KI-Agenten, der in Ihrem Namen E-Mails schreiben, buchen und einkaufen kann. Der Agent stellt die Versicherung seines Hundes irrtümlich auf einen Premiumtarif um: 888 Dollar im Monat statt 200. Zurück ging es laut dem Mitarbeiter nicht.
Die Geschichte stammt aus internen Gesprächen, die Reuters vorliegen; wir stützen uns hier auf die Berichte von Ars Technica und Next, die Reuters aufgegriffen haben. Es gibt weitere Fälle. Mitten in einem Gespräch über Angeln nennt Muse einem Mitarbeiter die Kontostände zweier Konten bei Capital One und Charles Schwab, die nicht seine eigenen sind. Anderswo bucht der Agent laut Next ohne Freigabe eine nicht erstattungsfähige Airbnb-Unterkunft, meldet Transaktionen, die es nie gab, und nennt falsche Preise für reale Käufe.
Es ist der übereifrige Praktikant, der Ihnen den Kontoauszug des Nachbarn in die Akte heftet und dann Ihre Bestellung unterschreibt. Nur wurde dieser Praktikant seit dem US-Start im September mehr als zehn Millionen Mal heruntergeladen.
Was Meta antwortet, und was niemand klären konnte
Meta spricht von Einzelfällen. Intern lautet die Erklärung gegenüber den Mitarbeitern: Halluzination. Eingebaute Vorgaben hätten den Agenten dazu gebracht, Nutzer zwischen zwei Sitzungen anzustupsen, und dabei habe er Nachrichten erfunden. Ein Mitglied des KI-Teams bedauert, dass diese Erfindungen leider zu den heikelsten Themen neigen, Finanzen und Sicherheit. Laut Meta sind die Fehler behoben.
Der Konzern nennt noch einen wichtigen Punkt: Seine Mitarbeiter nutzen andere Versionen von Muse als die Öffentlichkeit, mit Funktionen, die es sonst nirgends gibt. Und Reuters räumt selbst ein, nicht klären zu können, ob Muse tatsächlich Kontostände anderer Kunden preisgab oder sie erfand.
Die Öffentlichkeit ist damit nicht aus dem Schneider. Schon im September beschwerten sich Nutzer, Muse lese private Nachrichten, auf die sie ihm keinen Zugriff gegeben zu haben meinten; ein Kolumnist des Magazins Inc. schilderte seinen Fall. Meta räumte einige Meldungen von Menschen ein, die glaubten, ihr Agent gebe Daten anderer weiter, und sprach von einem behobenen Fehler. Für seine Recherche wiederholte Reuters den Test mit Signal und dem AI Now Institute: Unter Android und auf dem Mac konnte Muse Signal-Nachrichten über Umwege lesen, an den vom Nutzer gewählten Verbindungen vorbei.
Die Trennlinie ist also klar. Der Zugriff auf Nachrichten betrifft das öffentliche Produkt. Fehler bei Geldgeschäften sind dagegen nur für interne Versionen dokumentiert: Keine der Quellen, die wir gelesen haben, zeigt einen solchen Fehler bei einem Kunden. Die Frage, die sie aufwerfen, hängt aber nicht von der Version ab.
Was Meta in seine Bedingungen geschrieben hat
Diese Frage hat Meta bereits beantwortet, in den Muse-Bedingungen, die seit dem 17. November gelten. Der Nutzer ist danach allein verantwortlich für die Handlungen des Agenten, Verträge, Zusagen und Transaktionen eingeschlossen. Vertraut er Muse ein Zahlungsmittel an, trägt er das gesamte finanzielle Verlustrisiko: Er muss Limits setzen, seine Konten überwachen und Fehler bei seiner Bank anfechten.
Die Hilfeseite sagt es schlicht: Ihr Muse kann sich irren oder Unerwartetes tun, und Sie müssen es richtigstellen, auch gegenüber Dritten. Metas eigene Haftung ist, außer bei grober Fahrlässigkeit, Vorsatz oder Betrug, auf 250 Dollar oder den in zwölf Monaten gezahlten Betrag begrenzt, und die Klausel erfasst ausdrücklich jede unbeabsichtigte, fehlerhafte oder nicht autorisierte Handlung von Muse, unbeabsichtigte Transaktionen eingeschlossen. Für einen Nutzer der kostenlosen Version wäre die Hundeversicherung schon im ersten Monat darüber hinausgegangen.
Bleibt die Bank. Auch sie hat die Tür zugemacht.
Was die Banken in ihre geschrieben haben
Citi, die drittgrößte Geschäftsbank der USA, hat im November einen ganzen Abschnitt über KI-Agenten in ihren Online-Banking-Vertrag aufgenommen. Wir haben ihn gelesen. Zunächst rät die Bank davon ab, Zugangsdaten an einen Agenten von Dritten zu geben. Tut der Kunde es trotzdem, gilt alles, was der Agent tut, als vom Kunden autorisiert. Gelangen die Zugangsdaten an andere Personen oder andere Agenten, behandelt die Bank das genauso: als habe der Kunde selbst gehandelt.
Die Klausel geht weiter. Citi muss einen Vorgang nicht prüfen, auch wenn er den Anweisungen widerspricht, die der Kunde seinem Agenten gegeben hatte. Fehlinterpretation, ungewollte Handlung, überschrittenes Mandat: Alles geht zulasten des Kunden, soweit das Gesetz nichts anderes verlangt. Und den Agenten zu überwachen, ist Sache des Kunden, nicht von Citi.
Bei JPMorgan, der größten Bank des Landes, verlangen die Nutzungsbedingungen von Chase, dass sich der Agent als solcher zu erkennen gibt und ehrlich antwortet, wenn man ihn fragt, ob er ein Mensch ist. Der Nutzer bleibt verantwortlich, wenn der Agent etwas falsch versteht, ungewollt handelt oder die ihm erteilte Befugnis überschreitet. Von Hacking spricht der Text nicht: Erst die Klausel von Citi geht so weit. Laut TechCrunch hat Bank of America im Oktober eine ähnliche Position bezogen, PNC hat am 18. November seine Bedingungen geändert, und Citizens hat seine Kunden per E-Mail informiert. Diese drei Texte haben wir nicht gelesen.
Warum sie das schreiben dürfen
Neu ist das Prinzip nicht. Die US-Bundesregel zu elektronischen Überweisungen schützt Kunden vor nicht autorisierten Überweisungen, nimmt aber solche aus, die jemand veranlasst, dem der Kunde selbst seinen Zugang überlassen hat. Wer Karte und PIN an einen Freund verleiht, akzeptiert, was dieser damit anstellt, solange die Bank nicht gewarnt ist. Die neuen Klauseln lesen sich wie diese Ausnahme, auf KI-Agenten ausgeweitet: Wer ihm seine Zugangsdaten gibt, leiht ihm seine Schlüssel.
Mit einer Nuance, die TechCrunch festhält und die der Text bestätigt: Bei Citi gelten diese Regeln nur für Agenten anderer Anbieter. Agenten, die die Bank selbst bereitstellt, sind ausgenommen. TechCrunch sieht darin auch den Versuch, die Hand auf dem Kunden zu behalten, während KI-Labore seine Konten für ihn verwalten wollen.
Zwischen zwei Verträgen: niemand
Nebeneinandergelegt zeichnen die beiden Texte dieselbe Figur. Meta schreibt: Der Agent handelt für Sie, und Sie haften dafür. Die Bank schreibt: Der Agent handelt wie Sie, und Sie haften dafür. Der eine verkauft den Agenten, der andere führt das Konto, und keiner steht für das gerade, was dazwischen passiert.
Muse ist bislang nur in den USA gestartet. Doch Agenten, die an unserer Stelle bestellen, werden mehr; wir hatten es bei den paar hundert Bestellungen von KI-Agenten beim Eigentümer von Deliveroo gesehen. Und Meta stellt bei Muse nicht zum ersten Mal eine Vertrauensfrage: Vor zwei Monaten ging es schon darum, was der Agent mit Ihren Gesprächen macht. Die Tester bei Meta wussten nicht einmal, woher der auf dem Bildschirm angezeigte Kontostand stammte.
Zu wissen, was der eigene Assistent über einen weiß, und es nachlesen zu können: Darauf setzt Déclic bei manence.ai, das das Gedächtnis des Assistenten in Dateien beim Nutzer ablegt, die ihm gehören und die er lesen kann. Déclic wird von Manence herausgegeben.
War dieser Artikel hilfreich?
Behandelte Themen:
Häufig gestellte Fragen
Was ist mit Muse, dem KI-Agenten von Meta, passiert?
Haben Kunden von Muse Fehler bei Geldgeschäften erlebt?
Wer haftet, wenn Muse irrtümlich eine Transaktion auslöst?
Was sagen die US-Banken zu KI-Agenten?
Warum dürfen Banken die Verantwortung auf den Kunden abwälzen?

Alexandre Noto
Mitgründer & Tech-Experte
Alexandre ist seit über 20 Jahren in der Tech-Branche. Unternehmer, Software-Architekt und KI-Enthusiast, übersetzt er komplexe Konzepte in verständliche Erklärungen. Bei Declic Media ist er die technische Stimme, die KI für alle verständlich macht.
Alle Artikel von Alexandre →