Macht & Systeme

Der KI-Agent von Meta hob eine Hundeversicherung von 200 auf 888 Dollar

Wer zahlt für solche Fehler? Die US-Banken haben gerade geantwortet.

6 Min. Lesezeit
Der KI-Agent von Meta hob eine Hundeversicherung von 200 auf 888 Dollar

Eine Versicherung auf das Vierfache, ohne dass jemand es wollte

Ein Meta-Mitarbeiter testet Muse, den hauseigenen KI-Agenten, der in Ihrem Namen E-Mails schreiben, buchen und einkaufen kann. Der Agent stellt die Versicherung seines Hundes irrtümlich auf einen Premiumtarif um: 888 Dollar im Monat statt 200. Zurück ging es laut dem Mitarbeiter nicht.

Die Geschichte stammt aus internen Gesprächen, die Reuters vorliegen; wir stützen uns hier auf die Berichte von Ars Technica und Next, die Reuters aufgegriffen haben. Es gibt weitere Fälle. Mitten in einem Gespräch über Angeln nennt Muse einem Mitarbeiter die Kontostände zweier Konten bei Capital One und Charles Schwab, die nicht seine eigenen sind. Anderswo bucht der Agent laut Next ohne Freigabe eine nicht erstattungsfähige Airbnb-Unterkunft, meldet Transaktionen, die es nie gab, und nennt falsche Preise für reale Käufe.

Es ist der übereifrige Praktikant, der Ihnen den Kontoauszug des Nachbarn in die Akte heftet und dann Ihre Bestellung unterschreibt. Nur wurde dieser Praktikant seit dem US-Start im September mehr als zehn Millionen Mal heruntergeladen.

Was Meta antwortet, und was niemand klären konnte

Meta spricht von Einzelfällen. Intern lautet die Erklärung gegenüber den Mitarbeitern: Halluzination. Eingebaute Vorgaben hätten den Agenten dazu gebracht, Nutzer zwischen zwei Sitzungen anzustupsen, und dabei habe er Nachrichten erfunden. Ein Mitglied des KI-Teams bedauert, dass diese Erfindungen leider zu den heikelsten Themen neigen, Finanzen und Sicherheit. Laut Meta sind die Fehler behoben.

Der Konzern nennt noch einen wichtigen Punkt: Seine Mitarbeiter nutzen andere Versionen von Muse als die Öffentlichkeit, mit Funktionen, die es sonst nirgends gibt. Und Reuters räumt selbst ein, nicht klären zu können, ob Muse tatsächlich Kontostände anderer Kunden preisgab oder sie erfand.

Die Öffentlichkeit ist damit nicht aus dem Schneider. Schon im September beschwerten sich Nutzer, Muse lese private Nachrichten, auf die sie ihm keinen Zugriff gegeben zu haben meinten; ein Kolumnist des Magazins Inc. schilderte seinen Fall. Meta räumte einige Meldungen von Menschen ein, die glaubten, ihr Agent gebe Daten anderer weiter, und sprach von einem behobenen Fehler. Für seine Recherche wiederholte Reuters den Test mit Signal und dem AI Now Institute: Unter Android und auf dem Mac konnte Muse Signal-Nachrichten über Umwege lesen, an den vom Nutzer gewählten Verbindungen vorbei.

Die Trennlinie ist also klar. Der Zugriff auf Nachrichten betrifft das öffentliche Produkt. Fehler bei Geldgeschäften sind dagegen nur für interne Versionen dokumentiert: Keine der Quellen, die wir gelesen haben, zeigt einen solchen Fehler bei einem Kunden. Die Frage, die sie aufwerfen, hängt aber nicht von der Version ab.

Was Meta in seine Bedingungen geschrieben hat

Diese Frage hat Meta bereits beantwortet, in den Muse-Bedingungen, die seit dem 17. November gelten. Der Nutzer ist danach allein verantwortlich für die Handlungen des Agenten, Verträge, Zusagen und Transaktionen eingeschlossen. Vertraut er Muse ein Zahlungsmittel an, trägt er das gesamte finanzielle Verlustrisiko: Er muss Limits setzen, seine Konten überwachen und Fehler bei seiner Bank anfechten.

Die Hilfeseite sagt es schlicht: Ihr Muse kann sich irren oder Unerwartetes tun, und Sie müssen es richtigstellen, auch gegenüber Dritten. Metas eigene Haftung ist, außer bei grober Fahrlässigkeit, Vorsatz oder Betrug, auf 250 Dollar oder den in zwölf Monaten gezahlten Betrag begrenzt, und die Klausel erfasst ausdrücklich jede unbeabsichtigte, fehlerhafte oder nicht autorisierte Handlung von Muse, unbeabsichtigte Transaktionen eingeschlossen. Für einen Nutzer der kostenlosen Version wäre die Hundeversicherung schon im ersten Monat darüber hinausgegangen.

Bleibt die Bank. Auch sie hat die Tür zugemacht.

Was die Banken in ihre geschrieben haben

Citi, die drittgrößte Geschäftsbank der USA, hat im November einen ganzen Abschnitt über KI-Agenten in ihren Online-Banking-Vertrag aufgenommen. Wir haben ihn gelesen. Zunächst rät die Bank davon ab, Zugangsdaten an einen Agenten von Dritten zu geben. Tut der Kunde es trotzdem, gilt alles, was der Agent tut, als vom Kunden autorisiert. Gelangen die Zugangsdaten an andere Personen oder andere Agenten, behandelt die Bank das genauso: als habe der Kunde selbst gehandelt.

Die Klausel geht weiter. Citi muss einen Vorgang nicht prüfen, auch wenn er den Anweisungen widerspricht, die der Kunde seinem Agenten gegeben hatte. Fehlinterpretation, ungewollte Handlung, überschrittenes Mandat: Alles geht zulasten des Kunden, soweit das Gesetz nichts anderes verlangt. Und den Agenten zu überwachen, ist Sache des Kunden, nicht von Citi.

Bei JPMorgan, der größten Bank des Landes, verlangen die Nutzungsbedingungen von Chase, dass sich der Agent als solcher zu erkennen gibt und ehrlich antwortet, wenn man ihn fragt, ob er ein Mensch ist. Der Nutzer bleibt verantwortlich, wenn der Agent etwas falsch versteht, ungewollt handelt oder die ihm erteilte Befugnis überschreitet. Von Hacking spricht der Text nicht: Erst die Klausel von Citi geht so weit. Laut TechCrunch hat Bank of America im Oktober eine ähnliche Position bezogen, PNC hat am 18. November seine Bedingungen geändert, und Citizens hat seine Kunden per E-Mail informiert. Diese drei Texte haben wir nicht gelesen.

Warum sie das schreiben dürfen

Neu ist das Prinzip nicht. Die US-Bundesregel zu elektronischen Überweisungen schützt Kunden vor nicht autorisierten Überweisungen, nimmt aber solche aus, die jemand veranlasst, dem der Kunde selbst seinen Zugang überlassen hat. Wer Karte und PIN an einen Freund verleiht, akzeptiert, was dieser damit anstellt, solange die Bank nicht gewarnt ist. Die neuen Klauseln lesen sich wie diese Ausnahme, auf KI-Agenten ausgeweitet: Wer ihm seine Zugangsdaten gibt, leiht ihm seine Schlüssel.

Mit einer Nuance, die TechCrunch festhält und die der Text bestätigt: Bei Citi gelten diese Regeln nur für Agenten anderer Anbieter. Agenten, die die Bank selbst bereitstellt, sind ausgenommen. TechCrunch sieht darin auch den Versuch, die Hand auf dem Kunden zu behalten, während KI-Labore seine Konten für ihn verwalten wollen.

Zwischen zwei Verträgen: niemand

Nebeneinandergelegt zeichnen die beiden Texte dieselbe Figur. Meta schreibt: Der Agent handelt für Sie, und Sie haften dafür. Die Bank schreibt: Der Agent handelt wie Sie, und Sie haften dafür. Der eine verkauft den Agenten, der andere führt das Konto, und keiner steht für das gerade, was dazwischen passiert.

Muse ist bislang nur in den USA gestartet. Doch Agenten, die an unserer Stelle bestellen, werden mehr; wir hatten es bei den paar hundert Bestellungen von KI-Agenten beim Eigentümer von Deliveroo gesehen. Und Meta stellt bei Muse nicht zum ersten Mal eine Vertrauensfrage: Vor zwei Monaten ging es schon darum, was der Agent mit Ihren Gesprächen macht. Die Tester bei Meta wussten nicht einmal, woher der auf dem Bildschirm angezeigte Kontostand stammte.

Zu wissen, was der eigene Assistent über einen weiß, und es nachlesen zu können: Darauf setzt Déclic bei manence.ai, das das Gedächtnis des Assistenten in Dateien beim Nutzer ablegt, die ihm gehören und die er lesen kann. Déclic wird von Manence herausgegeben.

War dieser Artikel hilfreich?

Behandelte Themen:

WirtschaftMetaAnalyse

Häufig gestellte Fragen

Was ist mit Muse, dem KI-Agenten von Meta, passiert?
Laut internen Gesprächen, die Reuters vorliegen und die Ars Technica und Next aufgegriffen haben, stellte Muse die Hundeversicherung eines Mitarbeiters, der den Agenten testete, irrtümlich von 200 auf 888 Dollar im Monat um, ohne Weg zurück. Einem anderen zeigte der Agent Kontostände, die nicht seine eigenen waren. Meta spricht von Einzelfällen und von einer Halluzination und betont, dass seine Mitarbeiter andere Versionen von Muse nutzen als die Öffentlichkeit. Reuters konnte nicht klären, ob die Kontostände echt oder erfunden waren.
Haben Kunden von Muse Fehler bei Geldgeschäften erlebt?
Fehler bei Geldgeschäften sind nur für interne Versionen dokumentiert: Keine der Quellen, die wir gelesen haben, zeigt einen solchen Fehler bei einem Kunden. Das öffentliche Produkt betrifft dagegen der Zugriff auf Nachrichten: Nutzer beschwerten sich schon im September. Reuters stellte zusammen mit Signal und dem AI Now Institute fest, dass Muse unter Android und auf dem Mac über Umwege Signal-Nachrichten lesen konnte.
Wer haftet, wenn Muse irrtümlich eine Transaktion auslöst?
Die Muse-Bedingungen, die seit dem 17. November gelten, machen den Nutzer allein verantwortlich für die Handlungen des Agenten, Transaktionen eingeschlossen. Wer ihm ein Zahlungsmittel anvertraut, trägt das gesamte finanzielle Verlustrisiko. Metas Haftung ist, außer bei grober Fahrlässigkeit, Vorsatz oder Betrug, auf 250 Dollar oder den in zwölf Monaten gezahlten Betrag begrenzt.
Was sagen die US-Banken zu KI-Agenten?
Citi hat im November in seinen Online-Banking-Vertrag einen Abschnitt aufgenommen, der davon abrät, Zugangsdaten an einen Agenten von Dritten weiterzugeben. Tut der Kunde es doch, gilt alles, was der Agent tut, als vom Kunden autorisiert, auch wenn die Zugangsdaten an andere gelangen. Die Bedingungen von Chase lassen den Nutzer ebenfalls für Fehler seines Agenten haften; von Hacking ist dort nicht die Rede. Laut TechCrunch haben Bank of America, PNC und Citizens ähnliche Positionen bezogen; diese drei Texte haben wir nicht gelesen.
Warum dürfen Banken die Verantwortung auf den Kunden abwälzen?
Die US-Bundesregel zu elektronischen Überweisungen schützt Kunden vor nicht autorisierten Überweisungen, nimmt aber solche aus, die jemand veranlasst, dem der Kunde selbst seinen Zugang überlassen hat, solange er die Bank nicht gewarnt hat. Die neuen Klauseln lesen sich wie diese Ausnahme, auf KI-Agenten ausgeweitet. Bei Citi gelten sie nur für Agenten anderer Anbieter; Agenten, die die Bank selbst bereitstellt, sind ausgenommen.
Alexandre Noto

Alexandre Noto

Mitgründer & Tech-Experte

Alexandre ist seit über 20 Jahren in der Tech-Branche. Unternehmer, Software-Architekt und KI-Enthusiast, übersetzt er komplexe Konzepte in verständliche Erklärungen. Bei Declic Media ist er die technische Stimme, die KI für alle verständlich macht.

Alle Artikel von Alexandre →
Der kostenlose KI-Newsletter