Meta trainiert seine KI an Gesprächen mit einem Plüschtier

Ein Plüschtier in Toga: verboten für Minderjährige

Die Figur der App Muse heißt Jolly: ein rundes, flauschiges Wesen, das sich wie eine Puppe anziehen lässt und das Mark Zuckerberg auf der Meta Connect in Toga und Lorbeerkranz vorstellte. In von WIRED entdeckten Instagram-Werbungen trägt sie Sportkleidung und preist ihre Hilfe bei Fitnesszielen an. Bis Jahresende will Meta eine kleine Box im Tamagotchi-Stil verkaufen, um sie überallhin mitzunehmen.

Alexandr Wang, der KI-Chef des Konzerns, postet unablässig Memes von Jolly, manche davon in zweideutigen Situationen. Und die App ist erst ab 18 Jahren freigegeben. Daher die Frage, die WIRED am 26. September in seine Überschrift packt: Warum sieht ein Erwachsenenprodukt aus wie ein gut gestaltetes Kinderspielzeug?

Die Frage ist berechtigt. Die letzte Zeile dieses Artikels wirft eine andere auf, die sich leichter überprüfen lässt: Meta trainiert seine Modelle mit den Gesprächen aus Muse, sofern man nicht widerspricht. Wir haben die Anleitung direkt an der Quelle gelesen. Eine Klarstellung vorab: Muse ist in Europa noch nicht verfügbar, und am Ende zeigt sich, dass gerade dieses Detail etwas über die Einstellung selbst verrät.

Was Meta trainiert, und was es verschweigt

Die Hilfeseiten von Meta sind beim Grundsatz klar und beim Umfang vage. Sie erklären: „Du entscheidest, ob wir deine Interaktionen mit Muse verwenden dürfen, um unsere KI-Modelle zu trainieren und zu verbessern“, und ergänzen sofort: „Diese Einstellung ist aktiviert, wenn du Muse zum ersten Mal verwendest.“ Das Wort, das alles trägt, ist „Interaktionen“. Meta definiert es nirgends.

Dabei tut Muse weit mehr als chatten. Es ist ein Agent, der den Verlauf, erzeugte Dateien und hochgeladene Dokumente in einer virtuellen Cloud-Maschine speichert und für seine Nutzer im Web surft. Die Hilfeseiten sagen nicht, ob „Interaktionen“ diese Dateien, diese Maschine oder dieses Surfen einschließt. Das Einzige, was Meta konkret auflistet, ist das, was vor dem Training entfernt wird: „bestimmte Kategorien personenbezogener Informationen wie Namen, E-Mail-Adressen, Telefonnummern und Sozialversicherungsnummern“.

Das ist eine Liste dessen, was entfernt wird, keine Beschreibung dessen, was übernommen wird. Ein Umzugsunternehmen, das verspricht, die Pflanzen nicht mitzunehmen, sagt nichts über den Rest des Wohnzimmers. Meta nennt zwei weitere Zusagen: Gespräche und Daten aus der virtuellen Maschine fließen nicht in die Werbesysteme, und die Interaktionen werden vom Konto getrennt.

Der Widerruf braucht drei Klicks, und er gilt rückwirkend

Der Weg ist kurz. Man öffnet „Einstellungen“, dann „Datenkontrolle“, deaktiviert „Hilf uns, unsere KI-Modelle zu verbessern“ und bestätigt mit „Deaktivieren“.

Überraschend, und das spricht für Meta: Die Einstellung betrifft nicht nur die Zukunft. Die Hilfeseite schreibt schwarz auf weiß: „Änderungen an dieser Einstellung gelten auch für frühere Interaktionen.“ Die meisten solcher Schalter gelten nur für das, was danach kommt. Dieser beansprucht, auch das Vorherige abzudecken, die großzügigste Version der Geste.

Was bleibt, wovon keine Seite spricht: das, was bereits in ein veröffentlichtes Modell eingeflossen ist. Die Einstellung regelt die Nutzung der Interaktionen, sie verspricht nicht, etwas daraus zu entfernen. Der einzige benachbarte Satz räumt ein, dass Muse „sich Informationen merkt, die es aus dem gelöschten Inhalt gelernt hat“. Ein Widerruf ist kein Radiergummi.

Meta führt zudem eine Seite für Menschen, die Muse gar nicht nutzen. Dort heißt es, dass Informationen über eine Person an Muse übermittelt werden können, wenn andere Muse nutzen, „auch wenn du Muse nicht direkt verwendest“. Der Rechtsweg führt über einen Antrag auf Datenschutz, den Meta nur für Informationen bearbeiten kann, die einem Konto zugeordnet sind. Ohne Meta-Konto gibt es keinen Schalter.

Im Juli zog dasselbe Unternehmen einen Opt-out binnen zwei Tagen zurück

Am aufschlussreichsten ist die Produktgeschichte. Eine Funktion namens Muse Image erlaubte es, ein öffentliches Instagram-Konto zu erwähnen und daraus Bilder zu erzeugen. Sie galt automatisch für alle öffentlichen Konten Erwachsener, private Konten und die von Minderjährigen waren ausgenommen.

CAA, die Agentur von Tom Hanks und Meryl Streep, trat am Mittwoch, dem 8. Juli, an die Öffentlichkeit und erklärte sinngemäß, niemandes Name, Abbild, Stimme oder künstlerische Arbeit dürfe von Dritten, KI-Modelle eingeschlossen, ohne klare und dokumentierte Zustimmung verwendet werden. Die Agentur forderte, diesen Schutz zur Standardeinstellung zu machen. Am Freitag, dem 10. Juli, nahm Meta die Funktion vom Netz und erklärte sinngemäß, man habe das Feedback gehört, die Funktion habe ihr Ziel verfehlt und stehe nicht mehr zur Verfügung.

Achtundvierzig Stunden. Gleiches Unternehmen, gleiches Produkt, gleicher Opt-out-Mechanismus. Der Verzicht ist also eine Abwägung, und sie wird revidiert, sobald der Protest von Leuten mit Anwälten kommt.

Zum Alter äußert sich Meta, gemessen hat es niemand

Von WIRED befragt, weist Meta-Sprecher Daniel Roberts das Thema zunächst zurück: „This is a story in search of a story.“ (sinngemäß: eine Geschichte auf der Suche nach einer Geschichte). Er fährt fort: Die Menschen wollten sich einen eigenen Avatar mit eigener Persönlichkeit und eigenem Stil erschaffen, weil das Spaß mache und Freude bereite. Laut Meta verlangt das Unternehmen von jedem, der die App nutzt, das Geburtsdatum und blockiert Personen, bei denen ein Alter unter 18 Jahren erkannt wird; zusätzliche Prüfungen kämen laut eigenen Angaben hinzu.

Diesen Mechanismus hat niemand geprüft. Ein von Gen Digital veröffentlichter Audit hebt die Klausel der Nutzungsbedingungen hervor, die Muse für unter 18-Jährige verbietet, und stellt fest, dass die Unterlagen von Meta kein Verifizierungsverfahren beschreiben. Kein Dritter hat den Filter getestet, und Meta veröffentlicht dazu keine Ergebnisse.

Die einzigen Zahlen, die je mit Alterskontrollen bei Meta in Verbindung gebracht wurden, stammen von anderswo. Am 26. August schloss der Konzern mit 51 US-Generalstaatsanwälten eine auf zehn Jahre angelegte Einigung über 17 Milliarden Dollar, die ihn zur Erkennung Minderjähriger verpflichtet. Sie betrifft Instagram und Facebook, nicht Muse. Und laut zwei Fachanalysen des Urteils sind die darin festgelegten Schwellenwerte tolerierte Fehlerquoten: höchstens 10 % der 16- und 17-Jährigen, die von einem Fremdtool fälschlich als erwachsen eingestuft werden, und 3 % bei den 13- bis 15-Jährigen.

Die Einstellung gibt es, die App nicht

Was diesen Weg diesseits des Atlantiks theoretisch macht, bleibt bestehen. Muse ist in Europa nicht verfügbar. Die Ankündigung von Meta vom 8. September kündigt einen Start in den USA auf iOS, Android und muse.ai an, ohne Europa auch nur einmal zu erwähnen, und die Hilfeseiten halten lediglich fest, dass App und Website von Muse „noch nicht überall verfügbar“ seien. Meta hat weder einen Zeitplan noch einen Grund genannt.

Unterdessen wird derselbe Mechanismus in Brüssel verhandelt. Die Kommission will einen Artikel 88c in die DSGVO einfügen, der das Training von KI zum berechtigten Interesse erklärt, und hatte dort ein bedingungsloses Widerspruchsrecht verankert. Der Kompromisstext der Ratspräsidentschaft vom 3. September numeriert die Klausel in 88a um und nimmt dieses Recht aus dem Artikel selbst heraus, um es in die Präambel zu verschieben, den Teil des Textes, der die Absicht erklärt, ohne jemanden zu verpflichten. Am 11. Februar hatten der Europäische Datenschutzausschuss und der Europäische Datenschutzbeauftragte befunden, dass keine gesonderte Bestimmung nötig sei, und angemerkt, dass einige der vorgeschlagenen Änderungen „das Schutzniveau für Einzelpersonen beeinträchtigen“ können.